10.1 RNNLSTM.GRU递归神经网络学习笔记

文章目录概念LSTM RNN是用于处理大小可变的有序数据的一类模型 即使对固定输入输出的模型,RNN也非常有用 我们想对输入序列化处理,这里我们收到一个固定大小的输入,如一个图形,我们要做出分类决策,即图像中的数字分类,我们不是做单一的前向传播,而是观察图片的各种不同部分,然后在完成一组观察后做出最终决策。 概念 总体而言每个RNN都有这样一个小小的循环核心单元,它把x作为输出传入RNN,RNN有一个内部隐藏态(internal hidden state),内部隐藏态会在RNN每次读取新的输入时更新,然后这一内部隐藏态会把结果反馈至模型,当模型下次读取时,通常我们想让RNN,在每一时步都能