基于深度学习的唇语识别数据库构建和算法研究_杨明敏(好).caj

本文的研究内容主要包括数据库构建和算法研究两个方面，主要内容如下： （1）中文唇语识别数据集LRW-1000的构建：考虑到目前关于中文唇语识别的 研究尚无一个基准的数据库，为了给未来中文唇语识别的研究提供一个数据基准， 本课题根据自采的数据，与中科院计算所VIPL组合作构建了一个大型的开放场景下 中文唇语识别数据集，并提出了一个完整的构建流程，详细介绍了构建流程中的设 计到的算法原理。 （2）唇语识别算法：提出了一个新的唇语识别算法，来学习从唇语图像序列到 目标文本序列的映射。为了增强网络对短时依赖的建模能力，结合DenseNet和时空卷积提出一个新的网络结构，命名为D3D。然后