hks Luo

过拟合、欠拟合及其解决方案 1.欠拟合和过拟合是在训练过程中产生的现象,它是由训练误差和泛化误差来决定的。 2.训练误差:模型在训练数据集上表现出的误差。 3.泛化误差:模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。 4.在真实的神经网络训练过程中,数据集往往包含训练数据集、测试数据集和验证数据集。顾名思义,训练数据集合测试数据集是用来训练和验证神经网络的,需要注意的是测试数据集不可以用来调参。验证数据集是前两个数据集之外的数据集,通过他可以进行调参和模型选择。 5.k折交叉验证:为了应对训练数据集不够使用的的情况,可以将训练数据分为k份,每次不重复的取一