论文研究基于多流CNNLSTM网络的群体情绪识别.pdf

针对群体情绪识别准确率的问题，结合卷积神经网络（CNN）与长短期记忆网络（LSTM），提出一种多流CNN-LSTM网络模型学习群体情绪的静态和动态特征。以视频序列的原始图像、视觉显著图形和叠加的光流图像分别作为三个通道的输入，利用CNN网络对空间特征和局部运动特征进行分析，得到的特征图直接输入LSTM网络，进行全局运动特征的学习。最后连接Softmax分类器，对三个通道的Softmax输出进行加权融合，得到分类结果。实验结果表明，模型可有效地识别四种典型的群体情绪，且识别率高于已有算法，准确度（ACC）和宏平均精度（MAP）分别最高可达82.6%、84.1%。