如何解决NER覆盖和不连续问题

描述

论文:A Span-Based Model for Joint Overlapped and DiscontinuousNamed Entity Recognition

链接:https://aclanthology.org/2021.acl-long.372.pdf

代码:https://github.com/foxlf823/sodner

提取摘要

由于普通的NER问题被研究的透透的了,本文主要解决一种稍微复杂些问题:一种带有覆盖和不连续(Overlapped and Discontinuous)的命名实体识别任务。

而在这两者研究上来说,前人只是要么解决覆盖问题,要么解决不连续问题,但是本文提出一种联合解决这两种问题的span-based方法。

span-based方法昨天也提到过了,所以关于实体+关系抽取的任务都可以尝试。

本文通过两个步骤构建模型:

通过列举所有可能的text span来识别出实体片段(entity fragments);

在这些entity fragments上预测是两种关系overlapping or succession。

这样,我们不仅可以识别Discontinuous的实体,同时也可以对Overlapped的实体进行双重检查。

通过上述方法轻松将NER装换成RE(Relation Extraction)任务。最终实验在很多数据集上比如CLEF, GENIA andACE05上展现除了很强劲的性能。

该模型的步骤为

input一方面通过pre-train模型获取word rep,一方面通过dependency parsing获取句法信息;

GCN集合LSTM的输出和句法输入,得到syntax-enhanced的新的表达;

获取所有span表示;

通过两个MLP预测span是否为实体,以及实体时间是否有关系;

最后每个loss加上权重,为最终优化目标。

关键分类

AGGCN用来融入句法信息

attention-guided GCN (AGGCN)比普通GCN要强一些,所以这里选用该方法。传统的GCN:

模型

而AGGCN就是使用self-attention,替换以前的邻接矩阵A,最后通过线性方法将multi head生成的结果合一:

模型

Span的表示

解码先预测实体片段,再预测关系。

模型

解码公式

损失计算

实验实验数据介绍

在数据上的表现

在其他数据上与前人的对比,虽然性能不如SOTA,但是这种Span-based方式和SOTA差不了多少,是个新颖的想法。

责任编辑:haq

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分