论文研究 面向短语统计机器翻译的汉日联合分词研究.pdf

未登录词与分词粒度是汉日日汉机器翻译研究的两个主要问题。与英语等西方语言不同，汉语与日语词语间不存在空格，分词为汉日双语处理的重要工作。由于词性标注体系、文法及语义表现上的差异，分词结果的粒度需要进一步调整，以改善统计机器翻译系统的性能。提出了面向统计机器翻译的基于汉日汉字对照表及日汉词典信息的汉语与日语的分词粒度调整方法。实验结果表明，该方法能有效地调节源语言和目标语言端的分词粒度，提高统计机器翻译系统的性能。通过对比实验结果，分析探讨分词粒度对汉日双语统计系统性能的影响。