中文分词是计算机进行文本分析的关键技术。基于提高分词效率以满足日益增长的文本分析需求,通过分析常用的基于词典的机械分词算法与词典机制的优缺点,在对最大匹配算法进行改进的同时,采用双字哈希词典设计了适合此算法的双字哈希余字分组的词典结构,提出了基于双字哈希结构的最大匹配改进算法。该算法在保证原最大匹配算法分词精度的前提下,大大提高了分词速度。经实验证明,改进后的算法性能明显提升。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
全部0条评论
快来发表一下你的评论吧 !