令牌生成器:optimized针对研究和生产进行了优化的快速最新令牌生成器 源码

提供当今最常用的令牌生成器的实现,重点放在性能和多功能性上。 主要特点: 使用当今最常用的标记生成器训练新词汇并标记化。 得益于Rust的实现,速度非常快(训练和令牌化)。 只需不到20秒即可对服务器CPU上的GB文本进行标记。 易于使用,而且用途广泛。 专为研究和生产而设计。 归一化带有路线跟踪。 总是有可能获得与给定标记相对应的原始句子部分。 执行所有预处理:截断,填充,添加模型所需的特殊标记。 绑定 我们提供对以下语言的绑定(以后还会有更多!): (原始实现) 使用Python的快速示例: 在字节对编码,WordPiece或Unigram中选择模型,然后实例化标记器: