资料下载
×
一种侧重于学习情感特征的预训练方法
消耗积分:0 |
格式:pdf |
大小:5.34 MB |
2021-04-13
分享资料个
在大规模无监督语料上预训练的语言模型正逐渐受到自然语言处理领琙硏究者的关注。现有模型在预训练阶段主要提取文本的语义和结构特征，针对情感类任务的复杂情感特征，在最新的预训练语言模型BERI（双向 transformers编码表示）的基础上，提岀了一种侧重学习情感特征的预训练方法。在目标领域的预练阶段，利用情感词典改进了BERT的预训练任务。同时，使用基于上下文的词粒度情感预测任务对掩盖词情感极性进行分类，获取偏向情感特征的文本表征。最后在少量标注的目标教据集上进行微调。实验结果表明，相较于原BERT模型，可将情感任务的精度提升1个百分点，特别是训练样本较少时，能取得更先进的效果。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
