REALM: Retrieval Augmented Language Model Pre Training

REALM: Retrieval-Augmented Language Model Pre-Training 从ELMO、BERT和GPT到如今多种多样的预训练模型的横空出世,pre-training + fine-tune逐渐成为了NLP中建模的新范式,众多研究人员也不断的针对于Transformer和预训练做出改进,其中包括对Transformer本身结构的改进、预训练策略的调整、预训练结合多任务学习......甚至已有文章将其和视觉等其他的领域任务进行融合,同样取得了不错的效果。 本文提出了一种利用检索技术增强的预训练模型REALM,目的是希望通过中间步骤的检索任务来增强模型的学习能力,同时