基于双字哈希结构的最大匹配算法机制改进

中文分词是计算机进行文本分析的关键技术。基于提高分词效率以满足日益增长的文本分析需求,通过分析常用的基于词典的机械分词算法与词典机制的优缺点,在对最大匹配算法进行改进的同时,采用双字哈希词典设计了适合此算法的双字哈希余字分组的词典结构,提出了基于双字哈希结构的最大匹配改进算法。该算法在保证原最大匹配算法分词精度的前提下,大大提高了分词速度。经实验证明,改进后的算法性能明显提升。