sacremoses:Moses令牌生成器truecaser和规范化器的Python端口 源码

cre 执照 MIT许可证。 安装 pip install -U sacremoses 注意:Sacremoses现在仅支持Python 3( sacremoses>=0.0.41 )。 如果您使用的是Python 2,则最后一个可能的版本是sacremoses==0.0.40 。 用法(Python) 令牌生成器和解令牌器 >> > from sacremoses import MosesTokenizer , MosesDetokenizer >> > mt = MosesTokenizer ( lang = 'en' ) >> > text = u'This, is a sentence