浅析常用分词算法的比较与设想.pdf

与基于理解的分词算法和基于统计的分词算法相比 基于文本匹配的算法更加通用 基 于文本匹配的算法又称之为机械分词算法 他是它是按照一定的策略将待分析的汉字串 与一个充分大的机器词典中的词条进行配若在词典中找到某个字符串则匹配成功 可识别出一个词 按照扫描方向的不同 文本匹配分词方法可以分为正向匹配和逆向匹配两 种按照不同长度优先匹配的情况可以分为最大最长匹配和最小最短匹配按照 是否与词性标注过程相