toiro:日语标记器的比较工具 源码

托罗 Toiro是日语标记器的比较工具。 比较令牌生成器的处理速度 比较分词器中分段的词 通过对应用程序任务(例如文本分类)进行基准测试来比较令牌生成器的性能 它还为日语自然语言处理提供有用的功能。 日语文本语料库的数据下载器 这些语料库的预处理器 日语文本的文本分类器(例如,SVM,BERT) 安装 需要Python 3.6以上版本。 您可以使用以下命令安装toiro。 包含在默认安装中。 pip install toiro 将标记器添加到toiro 如果要将标记器添加到toiro,请单独安装。 这是添加的一个例子和到toiro。 pip install sudachipy su