基于图的多空间语义相关传播在视频检索中的应用

通过将概念检测结果引入检索过程,基于概念的视频检索(CBVR)已成功用于基于语义内容的视频检索应用程序。 但是,如何为特定查询选择和融合适当的概念仍然是一个重要但困难的问题。 在本文中,我们提出了一种新颖有效的概念选择方法,即基于图的多空间语义相关传播(GMSSCP),以探索用户查询与视频检索应用概念之间的关系。 与传统方法相比,GMSSCP利用流形排序算法来统一探索查询和概念之间的多层关系,扩展结果对噪声更鲁棒。 与此平行的是,GMSSCP具有查询自适应属性,可以在与查询线索紧密相关的情况下增强概念相关性传播和选择的过程。 此外,它可以通过灵活地将多模式查询线索作为附加节点来动态更新统一传播图,不仅对自动检索有效,而且还适合交互情况。 在TRECVID数据集上令人鼓舞的实验结果证明了GMSSCP优于最新的概念选择方法。 此外,我们还将其应用于交互式检索系统VideoMap,并获得了出色的性能和用户体验。