论文研究基于改进异步DBN模型的听视觉融合情感识别.pdf

提出了一个改进的三特征流听视觉融合异步动态贝叶斯网络情感模型（VVA_AsyDBN），采用面部几何特征（GF）和面部主动外观模型特征（AAM）作为两个视觉输入流，语音Mel倒谱特征（MFCC）作为听觉输入流，且视觉流的状态和听觉流的状态可以存在有约束的异步。在eNTERFACE’05听视觉情感数据库上进行了情感识别实验，并与传统的多流同步隐马尔可夫模型（MSHMM），以及具有两个听觉特征流（语音MFCC和局域韵律特征LP）和一个视觉特征流的听视觉异步DBN模型（T_AsyDBN）进行了比较。实验结果表明，VVA_AsyDBN获得了最高识别率75.61%，比视觉单流HMM提高了12.50%，比采