资料下载
基于预训练模型和长短期记忆网络的深度学习模型
分享资料个
语义槽填充是对话系统中一项非常重要的任务，旨在为输入句子的毎个单词标注正确的标签，其性能的妤坏极大地影响着后续的对话管理模块。目前，使用深度学习方法解决该任务时，一般利用随机词向量或者预训练词向量作为模型的初始化词向量。但是，随机词向量存在不具备语乂和语法信息的缺点;预训练词向量存在¨一词-乂”的缺点，无法为模型提供具备上下文依赖的词向量。针对该问题，提岀了一种基于预训练模型BERT和长短期记忆网络的深度学习模型。该模型使用基Transformer的双向编码表征模型（ Bidirectional Encoder Representations from Transformers，BERT）产生具备上下文依赖的词向量，并将其作为双向长短期记忆网络（ Bidirectional Long Short- Term Memory， BILSTM）的输入，最后利用 Softmax函数和条件随机场进行解码。将预训练模型BERT和 BILSTM网络作为整体进行训练，达到了提升语乂槽填充饪务性能的目的。在MIT Restaurant Corpus， MIT Movie Corpυs和 MIT Movie trivial Corpυs3个数据集上，所提模型得出了良好的结果，最大F值分别为78.74%，87.60%和71.54%。实验结果表明，所提模型显著提升了语义槽填充任务的F1值。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
- 相关下载
- 相关文章
