动手学深度学习Task3

过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶 1、过拟合和欠拟合 过拟合:模型的训练误差远小于它在测试数据集上的误差,我们称该现象为过拟合 欠拟合:模型训练误差无法降低. 如何应对欠拟合和过拟合?在这里我们重点讨论两个因素:模型复杂度和训练数据集大小。 1.1.1、模型复杂度 为了解释模型复杂度,我们以多项式函数拟合为例。给定一个由标量数据特征 x 和对应的标量标签 y 组成的训练数据集,多项式函数拟合的目标是找一个 K 阶多项式函数 来近似y.在上式中,wk是模型的权重参数,b是偏差参数。与线性回归相同,多项式函数拟合也使用平方损失函数。特别地,一阶多项式函数拟合又叫线性