2015 Chen_Minds_Eye_A_2015_CVPR_paper

在本文中,我们探索图像之间的双向映射及其基于句子的描述。 对于我们的方法而言,至关重要的是一个递归神经网络,它会在生成或读取字幕时尝试动态构建场景的视觉表示。 代表会自动学会记住长期的视觉概念。 我们的模型既可以在给定图像的情况下生成新颖的字幕,又可以在给定图像描述的情况下重建视觉特征。 我们在一些任务上评估我们的方法。 这些包括句子生成,句子检索和图像检索。 显示了用于生成新颖图像描述的任务的最新结果。 与人工生成的字幕相比,我们自动生成的字幕在21.0%的时间内等于或偏爱人类。 对于使用类似视觉特征的方法,结果比图像和句子检索任务上的最新结果更好或可比。