论文研究基于音节标注的藏文自动分词研究.pdf

分词是藏文信息处理的基础性关键问题，是把连续的藏文音节序列组合成词序列的过程。针对藏文分词中的特殊问题，把藏文分词问题看成判断音节在词中的位置过程，分别实现了基于最大熵、条件随机场、最大间隔Markov网络模型等模型下的分词系统，并在同等条件下进行了实验对比。实验结果表明，在当前四字位的标注集下，基于条件随机场的藏文分词系统取得了最好的分词结果，同时其他序列标注模型也取得了较好的效果，说明基于音节标注的分词方法可以较为有效地处理藏文分词问题。