基于聚类网络的文本 视频特征学习综述

综合理解视频内容和文本语义在很多领域都有着广泛的硏究。早期的研究主要是将文本-视频映射到一个公共向量空间，然而这种方法所面临的一个问题是大规模文本-视频数据集不足。由于视频数据存在较大的信息冗余，直接通过3D网绐提取整个视频特征会使网络参数较多且实时性较差，不利于执行视频任务。为了解决上述问题，文中通过良好的聚类网络聚合视频局部特征，并可以同时利用图像和视频数据训练网络模型，有效地解决了视频模态缺失问题，冋时对比了人脸模态对召任务的影响。在聚类网络中加入了注意力机制，使得网络更加关注与文本语义强相关的模态，从而提高了文本-视频的相似度值，更有利于提高模型的准确率。实验数据表明，基于聚类网络的文本-视频特征学习可以很好地将文本-视频映射到一个公向量空间，使具有相近语乂的文本和视频距离较近，而不相近的文本和视频距离较远。在MPI和MSR-VTT数据集上，基于本视频召回任务来测评模型的性能，相比其他模型，所提模型在两个数据集上进行精度均有提升。实验数据表明，基于聚网络的文本-特征学习可以很好地将文本-视频映射到一个公共向量空间，从而用于文本-视频召回任务。