UER py:PyTorch和预训练的模型动物园中的开源预训练模型框架 源码

| 预培训已成为NLP任务的重要组成部分,并带来了显着的进步。 UER-py(通用编码器表示形式)是用于对通用域语料库进行预训练并针对下游任务进行微调的工具包。 UER-py保持模型模块化并支持研究的可扩展性。 它有助于使用不同的预训练模型(例如BERT,GPT,ELMO),并为用户提供了进一步扩展的界面。 使用UER-py,我们建立了一个模型动物园,其中包含基于不同语料库,编码器和目标的预训练模型。 最近,我们收到了经过预训练的[中国36层RoBERTa]( )和[中国36层RoBERTa-WWM]( )模型使用腾讯云TI-ONE(有关详细配置,请参阅models / bert_xl