400万+工程师在用

400万+工程师在用

深度学习:基于语境的文本分类弱监督学习

深度学习自然语言处理

1人已加入

描述

高成本的人工标签使得弱监督学习备受关注。seed-driven 是弱监督学习中的一种常见模型。该模型要求用户提供少量的seed words,根据seed words对未标记的训练数据生成伪标签,增加训练样本。

但是由于一词多义现象的存在,同一个seed word会出现在不同的类别中,从而增加生成正确伪标签的难度;同时,单词w在语料库中的所有位置都使用一个的词向量,也会降低分类模型的准确性。

而本篇论文主要贡献有:

开发一种无监督的方法,可以根据词向量和seed words,解决语料库中单词的一词多义问题。

设计一种排序机制,消除seed words中一些无效的单词;并将有效的单词扩充进seed words中。

模型整体结构为:

23886e4c-58b3-11eb-8b86-12bb97331649.png

第一步:使用聚类算法解决语料库中单词的一词多义问题

对于每一个单词 w, 假设w出现在语料库的n个不同位置, 分别为 ,使用K-Means算法将分成K类,这里K可理解为单词w的K个不同解释。

用下列公式计算K的值:

23bb05f0-58b3-11eb-8b86-12bb97331649.png

其中代表第i个聚类中心的向量。的计算方法如下:

240a0f10-58b3-11eb-8b86-12bb97331649.png

这里s表示一个seed word,且表示s在语料库第i次出现,对应的词向量为。

sim() 表示余弦函数,median( )表示取中位数。

则对于任意,有

24453194-58b3-11eb-8b86-12bb97331649.png

综上,一词多义问题解决算法如下:

249a483c-58b3-11eb-8b86-12bb97331649.png

使用上面算法,我们就可以将原始语料库转变为基于语境下的语料库:

24f7145e-58b3-11eb-8b86-12bb97331649.png

第二步:对未标记的训练数据生成伪标签令表示文档d的伪标签;表示类别为的seed word 集合;表示单词w出现在文档d的词频

2578e2f4-58b3-11eb-8b86-12bb97331649.png

第三步:使用基于语境下的语料库进行文档分类

本篇论文使用Hierarchical Attention Networks (HAN) 进行文本分类。

25a2678c-58b3-11eb-8b86-12bb97331649.png

第四步:设计排序函数,更新seed words我们设计出一个打分函数,用于表示单词w仅高频的出现在类别为的文档。分值越高,表示单词w对类别越重要。我们可以选择分值最高的前几个单词作为新的seed word。也可以剔除一些不重要的seed word。

264f65a4-58b3-11eb-8b86-12bb97331649.png

其中:

268ed78e-58b3-11eb-8b86-12bb97331649.png

表示类别为的文档的数量。表示类别为且含有单词w的文档的数量。表示在类别为的文档中,单词w的词频。

n为语料库D的文档总数目表示语料库D中含有单词w的文档的数量。

结果

我们的完整模型称为 ConWea,

而 ConWea-NoCon是 ConWea确实缺少第一步的变体。

ConWea-NoExpan是 ConWea确实缺少第四步的变体。

ConWea-WSD是将 ConWea第一步的方法换成Lesk算法。

271870fc-58b3-11eb-8b86-12bb97331649.png

责任编辑:xj

原文标题:【ACL2020】基于语境的文本分类弱监督学习

文章出处:【微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

 

打开APP阅读更多精彩内容

电子发烧友网

收听电子行业动态,抢先知晓半导体行业

全部0条评论

快来发表一下你的评论吧 !

打开APP