LSTM及其在语音识别中的应用

经过几十年的研究与发展，语音识别建立了以隐马尔可夫模型（HiddenMarkovModels，HMM）为基础的框架。近几年，在HMM基础上深度神经网络(DeepNeuralNetwork，DNN)的应用大幅度提升了语音识别系统的性能。DNN将每一帧语音及其前后的几帧语音拼接在一起作为网络的输入，从而利用语音序列中上下文的信息。DNN中每次输入的帧数是固定的，不同的窗长对最终的识别结果会有影响。递归神经网络（Recurrentneuralnetwork，RNN）通过递归来挖掘序列中的上下文相关信息，在一定程度上克服了DNN的缺点。但是RNN在训练中很容易出现梯度消失的问题，无法记忆长时信息。长短期记忆单元（LongShort-TermMemory