动手学深度学习笔记3过拟合、欠拟合

一、欠拟合与过拟合 误差: 训练误差(training error):指模型在训练数据集上表现出的误差 泛化误差(generalization error):指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。机器学习模型应关注降低泛化误差。 Q:如何计算误差?A:引入损失函数(MSE、交叉熵损失)。 验证集:从严格意义上讲,测试集只能在所有超参数和模型参数选定后使用一次。因为不可以使用测试数据选择模型,如调参。所以引入验证集(从训练集中划分出部分验证集),即预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。验证集就是模型每个epoch训练后用于测试