[动手学深度学习PyTorch笔记三]

一 过拟合、欠拟合及其解决方案 欠拟合(underfitting): 一类是模型无法得到较低的训练误差,我们将这一现象称作 过拟合(overfitting):模型的训练误差远小于它在测试数据集上的误差,我们称该现象为。 在实践中,我们要尽可能同时应对欠拟合和过拟合。两个主要影响因素:模型复杂度和训练数据集大小。模型复杂度过低会导致欠拟合,过高则导致过拟合,训练数据集过小容易发生过拟合。因此需选取适当的模型复杂度和计算能力范围内可以承受的较大训练数据集。 解决方案 1 权重衰减 权重衰减等价于 L2L_2L2​ 范数正则化(regularization)。正则化通过为模型损失函数添加惩罚项使学出