Unilm 源码

Unilm 简介 UniLM模型既可以应用于自然语言理解(NLU)任务,又可以应用于自然语言生成(NLG)任务。 来自微软研究院。 模型虽然强大,但微软并没有开源中文的预训练模型。因此云问本着开源之前,将我们预训练好的中文unilm_base模型进行开源。 模型链接 模型地址 提取码 tf tblr 火炬 etwf 详细介绍 详细介绍见: 在CLUE中的部分分类数据集和阅读理解数据集上进行了简单测试,具体效果如下: 模型 空军质量管理委员会 新闻 智联科技 中国移动通信网 CSL CMRC2018 AVG bert_base 73.70% 56.58% 60.29% 79.69% 80.36% 71.60% 70.37% ERNIE_base 73.83% 58.33% 58.96% 80.29% 79.10% 74.70% 70.87% unilm_