PLMpapers:关于预训练语言模型的必读论文 源码

PLM文件 和贡献。 介绍 预先训练的语言模型(PLM)是NLP中非常受欢迎的主题。 在此仓库中,我们列出了一些有关PLM的代表性工作,并通过图表显示了它们之间的关系。 随时分发或使用它! 如果要在演示文稿中使用它,则可以获取该图的源PPT文件。 欢迎提出更正和建议。 我们还发布了 ,这是一个开放源代码的中文预训练模型动物园。 欢迎尝试。 文件 楷模 半监督序列学习。 戴安(Andrew M. Dai),Quoc V. Le 。 NIPS2015。[ ] context2vec:使用双向LSTM学习通用上下文嵌入。 Oren Melamud,Jacob Goldberger,Ido Dagan 。 CoNLL2016。[ ] []( context2vec ) 序列到序列学习的无监督预训练。 Prajit Ramachandran,Peter J. Liu,Quoc V. Le