动手学深度学习PyTorch版 | (3)过拟合、欠拟合及其解决方案

文章目录一、过拟合、欠拟合概念二、多项式函数拟合实验2.1 初始化模型参数2.2 定义、训练和测试模型三阶多项式函数拟合(正常)线性函数拟合(欠拟合)训练样本不足(过拟合)2.3 权重衰减L2 范数正则化(regularization)2.4 丢弃法丢弃法从零开始的实现简洁实现小结 一、过拟合、欠拟合概念 训练模型中经常出现的两类典型问题: 欠拟合:模型无法得到较低的训练误差 过拟合:模型的训练误差远小于它在测试数据集上的误差 在实践中,我们要尽可能同时应对欠拟合和过拟合。有很多因素可能导致这两种拟合问题,在这里我们重点讨论两个因素:模型复杂度和训练数据集大小。 – 模型复杂度 为了解释模型复