深度学习PyTorch | 总结

过拟合、欠拟合 1、在数据不够多的时候,k折交叉验证是一种常用的验证方法。 2、过拟合是指训练误差达到一个较低的水平,而泛化误差依然较大。 欠拟合是指训练误差和泛化误差都不能达到一个较低的水平。 发生欠拟合的时候在训练集上训练误差不能达到一个比较低的水平,所以过拟合和欠拟合不可能同时发生。 3、模型复杂度低容易导致欠拟合;训练数据集小容易导致过拟合;过拟合还可以使用权重衰减和丢弃法来缓解,即使在一个比较小的数据集上使用了权重衰减和丢弃法之后也能够达到一个比较好的效果。 4、L2范数正则化在损失函数的基础上添加了L2范数惩罚项;丢弃法通过随机丢弃层间元素,使模型不依赖于某一个元素来应对过拟合的