动手深度学习 笔记 7

循环神经网络进阶 GRU(门控循环单元) 门控循环神经网络,为了更好地捕捉时间序列中时间步距离较大的依赖关系。 其中,门控循环单元(gated recurrent unit,GRU)是一种常用的门控循环神经网络,它引入了重置门(reset gate)和更新门(update gate)的概念,从而修改了循环神经网络中隐藏状态的计算方式。 Rt=σ(XtWxr+Ht−1Whr+br) Zt=σ(XtWxz+Ht−1Whz+bz) H ̃t=tanh(XtWxh+(Rt⊙Ht−1)Whh+bh) Ht=Zt⊙Ht−1+(1−Zt)⊙H ̃t • 重置⻔有助于捕捉时间序列里短期的依赖关系; • 更新⻔有