恋父:ELECTRA:预培训文本编码为鉴救父发电机 源码

电子 介绍 ELECTRA是一种用于自我监督的语言表示学习的方法。 它可以用于使用相对较少的计算来预训练变压器网络。 训练ELECTRA模型以区分由另一个神经网络生成的“真实”输入令牌与“伪”输入令牌,这与的鉴别器类似。 即使在单个GPU上进行训练,ELECTRA在小规模上也能获得出色的结果。 大规模地,ELECTRA在数据集上获得了最新的结果。 有关详细说明和实验结果,请参考我们的ICLR 2020文件。 该存储库包含用于预训练ELECTRA的代码,包括单个GPU上的小型ELECTRA模型。 它还支持对下游任务进行微调ELECTRA,这些任务包括分类任务(例如 ),QA任务(例如 )和序