RecAdam:RecAdam纸的代码 源码

雷亚当 介绍 我们提供了RecAdam (召回亚当)优化器,以促进微调深度预训练的语言模型(例如BERT,ALBERT),从而减少遗忘。 有关详细的描述和实验结果,请参阅我们的论文:(EMNLP 2020接受)。 环境 python > = 3.6 pytorch > = 1.0.0 transformers > = 2.5.1 档案文件 RecAdam.py :此文件包括RecAdam优化器实现,该实现由从AdamW优化器实现修改而来。 run_glue_with_RecAdam.py :此文件是使用RecAdam优化器运行GLUE任务的示例,由从GLUE示例了。 运行GLUE任务 可以通过运行从下载GLUE任务,并将其解压缩到某个目录$GLUE_DIR 。 使用ALBERT-xxlarge模型 对于ALBERT-xxlarge,我们在之后使用相同的超参数,但最大序列长度设置为128