trankit:Trankit是用于多语言自然语言处理的基于轻量级变压器的Python工具包 源码

Trankit:用于多语言自然语言处理的基于轻型变压器的Python工具包 Trankit是用于多语言自然语言处理(NLP)的轻型基于Transformer的Python工具包。 它为基本NLP任务提供了可训练的管道,并为提供了90个可预训练管道。 Trankit在超过许多任务中,在许多任务中均优于当前最新的多语言工具箱Stanza(StanfordNLP) ,同时仍在内存使用和速度方面保持高效,使其可用于一般用户。 特别是对于英语, Trankit在句子切分( + 7.22% )和依存关系解析(UAS为+ 3.92 % ,LAS为+ 4.37% )方面明显优于Stanza 。 对于阿拉