chinese gen:中文生成式预训练模型 源码

中文生成式预训练模型 NLU的预训练模型大家应该见过不少了,NLG的预训练资源还比较少。这里汇总一些中文的生成式预训练模型,给出bert4keras下的加载方式。 模型列表 GPT 以GPT为代表的单向语言模型预训练。 GPT Base(NEZHE-GEN) 链接: 大小:1亿参数,体积390M 说明:结构跟BERT Base一致,通用语料训练,官方github提供了下载链接,不过保存了多余的meta导致体积过大,笔者对原始权重进行了转换,可以从笔者提供的链接(,验证码xynn)下载,结果跟原版一样,体积更小。 使用: CDial-GPT 链接: (原版链接: ) 大小:1亿参数,体积350M 说明:模型为GPT模型,使用闲聊型对话语料训练。原版为pytorch模型,笔者对原始权重进行了转换。 使用: GPT2-ML 链接: 大小:15亿参数,体积5.3G 说明:基于BERT代码修改,跟最