《语言预训练语生成进展》

在这次演讲中,我将谈谈语言预训练和语言生成方面的最新进展。关于语言预训练,我将介绍ELECTRA,我们不同的语言预训练学习比BERT更有效和达到的状态,在斯坦福问题回答基准(队)。在语言生成方面,我将重点介绍我们最近开发的开放域聊天机器人Meena,它在名为SSA的人类相似性度量上达到了最佳水平。