论文研究 一种基于多模态特征的新闻视频语义提取框架.pdf

为提高视频语义信息提取准确率, 提出了一种基于多模态特征的新闻视频语义提取框架。在视频中提取主题字幕信息, 对音频进行分类和语音识别, 根据主题字幕信息借助搜索引擎得到与新闻视频相关的网页; 最后利用网页文本对语音识别的结果进行纠错, 从而通过视频字幕信息和语音脚本的跨模态融合提高视频语义提取的准确率。在中等规模的新闻视频含新闻网页库测试表明了该方法的有效性, 经纠错后的语音识别准确率达到了65%左右。