Oscar:奥斯卡和VinVL 源码

奥斯卡:针对视觉和语言任务的对象语义对齐预训练 VinVL:重新研究视觉语言模型中的视觉表示 更新 月28日:已发布有关下游任务的模型,请检查 。 2020年5月15日:发布了用于下游任务微调的预训练模型,数据集和代码。 01/13/2021:我们的新工作提出了OSCAR +,这是OSCAR的改进版本,并提供了更好的对象属性检测模型来提取V + L任务的特征。 VinVL的工作在这里的所有七个V + L任务中都达到了SOTA性能。请继续关注模型和代码发布。 20年3月8日:发布了Oscar +预培训代码,请检查的最后一部分。 VinVL中的所有图像功能和模型检查点也已发布。请检查以获取详细信息。 介绍 该存储库包含重现《提出的结果所必需的源代码。我们提出了一种新的交叉模式预训练方法Oscar (对象语义对齐的预训练)。它利用在图像中检测到的对象标签作为锚点,从而大大简化了图像-文本对齐方