论文研究二次回溯中文分词方法.pdf

在最大匹配法(MM)的基础上，提出了二次回溯中文分词方法。该方法首先对待切文本进行预处理，将文本分割成长度较短的细粒度文本；利用正向匹配、回溯匹配、尾词匹配、碎片检查来有效发现歧义字段；利用长词优先兼顾二词簇的方式对交集型歧义字段进行切分，并对难点的多链长交集型歧义字段进行有效发现和切分。从随机抽取的大量语料实验结果上证明了该方法的有效性。