多跳问答任务：面向多跳问答的分层图网络

这是一篇关于多跳问答(multi-hop QA)任务的论文，不同于单跳QA，multi-hop QA任务下问题的答案需要对多个段落或篇章进行多跳推理。

然而，现有的相关工作仍旧存在一些挑战与困难需要被进一步研究:

现有工作会使用类似信息检索的思想来查找问题相关的段落，然后用MRC任务中类似的方法来找到问题的答案，但存在的问题是: 怎么将散落在不同语义粒度(段落、句子、实体)的信息聚合起来，用于问题答案和支撑事实发现的联合预测;

为了更好地利用文中用于answer发现的evidence, 一些工作通过构建实体级别的图结构来进行推理；然而，基于实体图的方法能够用于预测问题的答案，却不能用于支撑事实的发现。

基于以上问题，作者设计了Hierarchical Graph Network (HGN)来进行multi-hop QA 任务，较之以往工作，它有以下三个特点:

具有四种类型的节点，分别是问题节点、段落节点、句子节点 和 实体节点，不同类型的节点可分别用于multi-hop QA下的不同步骤下的子任务中；

引入预训练语言模型来学习文本的上下文表示，并得到节点的初始化表示，再通过图网络进一步更新节点表示；

由于问题的答案不一定是一个实体，因此在答案预测时引入 span prediction 来发现非实体的问题答案。

具体地，HGN模型由如下部分构成:

Graph Construction Module: 分层图构建模块，包括三个步骤: 通过title matching 选择与问题相关的段落、发现段落中能够提供指向其他段落证据的实体、句子，基于以上两边得到了图中所需的节点，再根据规则在节点之间添加上连边。

Context Encoding Module：使用Roberta和BiLSTM对文本进行编码，得到问题节点、段落节点、句子节点的初始表示。

Graph Reasoning Module：使用图注意力机制在节点之间进行信息传递，更新节点的表示。

Multi-task Prediction Module：分步进行如下三个子任务: 基于段落节点的段落选择、基于句子节点的支撑事实预测、以及基于实体节点答案预测 以及基于上下文表示和span prediction的非entity答案预测。

作者使用HGN模型在 HotpotQA 数据集上进行实验，在两种任务设置下，都在Answer Prediction与Support Fact Prediction的联合任务上都取得了sota效果。

最后，作者又进行了一系列的分析，包括误差分析、消融实验、不同预训练模型对实验结果的影响以及HGN在不同推理类型下的性能。

 

责任编辑：xj

原文标题：【每日一读】EMNLP2020: 面向多跳问答的分层图网络

文章出处：【微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。