动手学深度学习 Task03 过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶

【一】过拟合、欠拟合及其解决方案 过拟合 模型的训练误差远小于它在测试数据集上的误差,我们称该现象为过拟合(overfitting)。 欠拟合 当模型无法得到较低的训练误差时,我们将这一现象称作欠拟合(underfitting)。 在实践中,我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题,在这里重点讨论两个因素: 模型复杂度和训练数据集大小。 1.模型复杂度 为了解释模型复杂度,我们以多项式函数拟合为例。给定一个由标量数据特征 x 和对应的标量标签 y 组成的训练数据集,多项式函数拟合的目标是找一个 K 阶多项式函数y^=b+∑k=1Kxkwk\hat{y} = b