Pytorch之欠拟合和过拟合

Pytorch之欠拟合和过拟合 ​ 首先,我们需要区分训练误差( training error)和泛化误差( generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。而在机器学习上的模型应该关注降低泛化误差. 影响因素 模型复杂度 训练数据集的大小 ​ 一般来说,如果训练数据集中样本数过少,特别是比模型参数数量(按元素计)更少时,过拟合更容易发生。此外,泛化误差不会随训练数据集里样本数量增加而增大。因此,在计算资源允许的范围之内,我们通常