动手学习深度学习—Task04

文章目录GRULSTM深度循环神经网络双向循环神经网络 GRU RNN存在的问题:梯度较容易出现衰减或爆炸(BPTT) ⻔控循环神经网络:捕捉时间序列中时间步距离较大的依赖关系 GRU: Rt=σ(XtWxr+Ht−1Whr+br)Zt=σ(XtWzr+Ht−1Whz+bz)H^t=tanh(XtWxh+(Rt⨀Ht−1)Whh+bh)Ht=Zt⨀Ht−1+(1−Zt)⨀H^t R_t = \sigma(X_tW_{xr}+H_{t-1}W_{hr}+b_r)\\ Z_t = \sigma(X_tW_{zr}+H_{t-1}W_{hz}+b_z)\\ \hat{H}_t = tanh(X_