spark nlp:最先进的自然语言处理 源码

Spark NLP:最先进的自然语言处理 Spark NLP是建立在Apache Spark ML之上的自然语言处理库。 它为机器学习管道提供了简单,高性能和准确的NLP注释,这些注释在分布式环境中易于扩展。 Spark NLP带有1100多种预训练的管道和模型,支持192多种语言。 它支持可在集群中无缝使用的最新转换器,例如BERT , XLNet , ELMO , ALBERT和Universal Sentence编码器。 它还提供令牌化,分词,词性标记,命名实体识别,依赖性分析,拼写检查,多类文本分类,多类情感分析,机器翻译(+180种语言),摘要和问题解答( Google T5)和更