Pytorch_DeepLearning_Notebook_4.1

文章目录循环神经网络基础循环神经网络的构造从0开始实现循环神经网络one-hot向量初始化模型参数定义模型裁剪梯度clip gradient定义预测函数定义模型训练函数训练模型并创作歌词循环神经网络的简洁实现 循环神经网络基础 recurrent neural network 下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列,预测序列的下一个字符。循环神经网络引入一个隐藏变量HHH,用HtH_{t}Ht​表示HHH在时间步ttt的值。HtH_{t}Ht​的计算基于XtX_{t}Xt​和Ht−1H_{t-1}Ht−1​,可以认为HtH_{t}Ht​记录了到当