人类阅读理解和机器阅读理解一个很大的差异是，人类很善于利用除了文本之外的一些外部知识，来辅助自己理解获取答案。然而当前的很多机器阅读理解方法更多的是在文本匹配层面，仅仅是根据阅读理解所提供的文本和问题来寻找答案。但是现实世界中的机器阅读理解任务很复杂，仅仅根据所提供的文本和问题，无法获得问题的答案，需要借助一些常识性的外部知识信息。 本文以为机器阅读理解引入外部知识为切入点，通过检索机器阅读理解任务相关的外部知识信息，然后设计某种方法将其加入到机器阅读理解的获取问题答案的过程中，从而提高机器阅读理解获取问题的答案的性能。主要进行了以下三项研究工作： （1）基于预训练语言模型的隐式的引入外部知识的方法。由于预训练语言模型借助优秀的深度学习架构，能够很好的利用大量的无标注的文本，而这些大量的无标注的文本中已经包含很多的知识，因此，直接使用预训练模型构建机器阅读理解模型来隐式地引入外部知识，相比于的传统的阅读理解方法，在实验的测试集合上取得了很不错的效果。 （2）基于注意力机制的显式的引入外部知识的方法。针对当前很多外部知识库如NELL、WordNet等都包含丰富的知识信息，使用适当的方法检索出相关的知识之后，利用注意力机制设计知识融合模块显示的将这些外部知识融合到现有的机器阅读理解模型当中，实验结果证明了该方法的有效性。 （3）结合实体感知增强的引入外部知识的方法。当前的以预训练语言模型为基础的机器阅读理解模型对文本进行分词之后会将部分实体拆开，而很多检索到的外部知识都是实体级别的，这会影响机器阅读理解融合实体相关的外部知识，针对这个问题，提出一个结合实体感知增强和外部知识的阅读理解，该方法添加了命名实体识别的辅助任务，该任务和机器阅读理解任务一起联合训练，增强了机器阅读理解模型的实体感知能力，从而进一步提高机器阅读理解获取问题答案的能力，实验结果表明了该方法的有效性。
- 毕业论文
- EKMRC
- runs
- transformers
- torch (1.4.0)
- torch-geometric (1.4.2)
- torch-scatter (2.0.3)
- torch-sparse (0.6.0)
- torch-spline-conv (1.2.0)
- QQ 572176750
- wx yy572176750
- 邮箱 yle@ir.hit.edu.cn