基于SAE和LSTM RNN的多模态生理信号融合和情感识别研究

为了提高情感识别的分类准确率,提出一种将栈式自编码神经网络(SAE)和长短周期记忆单元循环神经网络(LSTM RNN)融合的多模态融合特征情感识别方法。该方法通过SAE对不同模态的生理特征进行信息融合和压缩,随后用LSTM RNN对长时间周期的融合进行情感分类识别。通过将该方法用到开源数据集中进行验证,得到情感分类准确率达到0.792 6。实验结果表明,SAE对多模态生理特征进行了有效融合,LSTM RNN能够有效地对长时间周期中的关键特征进行识别。