xlnet:XLNet:用于语言理解的广义自回归预训练 源码

介绍 XLNet是一种基于新型广义置换语言建模目标的新型无监督语言表示学习方法。 此外,XLNet使用作为主干模型,在涉及长上下文的语言任务中表现出出色的性能。 总体而言,XLNet在各种下游语言任务(包括问题回答,自然语言推断,情感分析和文档排名)上均获得了最新的(SOTA)结果。 有关技术细节和实验结果的详细说明,请参阅我们的论文: 杨志林*,戴子行*,杨一鸣,Jaime Carbonell,Ruslan Salakhutdinov,Quoc V.Le (*:均等) 预印本2019 发行说明 2019年7月16日:XLNet-Base。 2019年6月19日:带有XLNet-Large