论文:A Span-Based Model for Joint Overlapped and DiscontinuousNamed Entity Recognition
链接:https://aclanthology.org/2021.acl-long.372.pdf
代码:https://github.com/foxlf823/sodner
提取摘要
由于普通的NER问题被研究的透透的了,本文主要解决一种稍微复杂些问题:一种带有覆盖和不连续(Overlapped and Discontinuous)的命名实体识别任务。
而在这两者研究上来说,前人只是要么解决覆盖问题,要么解决不连续问题,但是本文提出一种联合解决这两种问题的span-based方法。
span-based方法昨天也提到过了,所以关于实体+关系抽取的任务都可以尝试。
本文通过两个步骤构建模型:
通过列举所有可能的text span来识别出实体片段(entity fragments);
在这些entity fragments上预测是两种关系overlapping or succession。
这样,我们不仅可以识别Discontinuous的实体,同时也可以对Overlapped的实体进行双重检查。
通过上述方法轻松将NER装换成RE(Relation Extraction)任务。最终实验在很多数据集上比如CLEF, GENIA andACE05上展现除了很强劲的性能。
该模型的步骤为
input一方面通过pre-train模型获取word rep,一方面通过dependency parsing获取句法信息;
GCN集合LSTM的输出和句法输入,得到syntax-enhanced的新的表达;
获取所有span表示;
通过两个MLP预测span是否为实体,以及实体时间是否有关系;
最后每个loss加上权重,为最终优化目标。
关键分类
AGGCN用来融入句法信息
attention-guided GCN (AGGCN)比普通GCN要强一些,所以这里选用该方法。传统的GCN:
而AGGCN就是使用self-attention,替换以前的邻接矩阵A,最后通过线性方法将multi head生成的结果合一:
Span的表示
解码先预测实体片段,再预测关系。
解码公式
损失计算
实验实验数据介绍
在数据上的表现
在其他数据上与前人的对比,虽然性能不如SOTA,但是这种Span-based方式和SOTA差不了多少,是个新颖的想法。
责任编辑:haq
全部0条评论
快来发表一下你的评论吧 !