pytorch动手深度学习的笔记[二]

一.循环神经网络 循环神经网络基于当前的输入与过去的输入序列,预测序列的下一个字符。它引入一个隐藏变量H,用Ht表示H在时间步t的值。Ht的计算基于Xt和Ht−1,可以认为Ht记录了到当前字符为止的序列信息,利用Ht对序列的下一个字符进行预测。 1.隐状态的引入 2.one-hot向量 3.初始化模型参数:隐藏层参数,输出层参数。 4.定义模型后裁剪梯度,定义预测函数,定义模型训练函数,使用困惑度评价模型。 二.循环神经网络进阶 GRU ⻔控循环神经网络:捕捉时间序列中时间步距离较大的依赖关系。其中1.重置⻔有助于捕捉时间序列里短期的依赖关系; 2.更新⻔有助于捕捉时间序列里⻓期的依赖关系。