深度学习7–循环神经网络实现语言模型

循环神经网络实现语言模型循环神经网络裁剪梯度困惑度实现 循环神经网络 目的是基于当前的输入与过去的输入序列,预测序列的下一个字符。循环神经网络中引入一个隐含层HHH,用HtH_tHt​表示HHH在时间步ttt的值。HtH_tHt​的计算基于前一步的Ht−1H_{t-1}Ht−1​和XtX_tXt​,利用HtH_tHt​预测ttt时刻的字符。 因此,有: Ht=φ(XtWxh+Ht−1Whh+bh)\bm{H_t = \phi(X_tW_{xh} + H_{t-1}W_{hh} + b_h)}Ht​=φ(Xt​Wxh​+Ht−1​Whh​+bh​) HtH_tHt​能够捕捉截至当前时间步的序列