循环神经网络的几个模型

GRU循环神经网络 RNN存在的问题:梯度较容易出现衰减或爆炸(BPTT) ⻔控循环神经网络:捕捉时间序列中时间步距离较大的依赖关系 RNN: GRU: Rt=σ(XtWxr+Ht−1Whr+br) Zt=σ(XtWxz+Ht−1Whz+bz) H ̃t=tanh(XtWxh+(Rt⊙Ht−1)Whh+bh) Ht=Zt⊙Ht−1+(1−Zt)⊙H ̃t • 重置⻔有助于捕捉时间序列里短期的依赖关系; • 更新⻔有助于捕捉时间序列里⻓期的依赖关系。 LSTM 长短期记忆long short-term memory : 遗忘门:控制上一时间步的记忆细胞 输入门:控制当前时间步的输入 输出门:控制