AI之过拟合、欠拟合及其解决方案

过拟合、欠拟合及其解决方案模型选择、过拟合和欠拟合训练误差和泛化误差模型选择验证数据集K折交叉验证过拟合和欠拟合模型复杂度训练数据集大小多项式函数拟合实验初始化模型参数定义、训练和测试模型三阶多项式函数拟合(正常)线性函数拟合(欠拟合)训练样本不足(过拟合)权重衰减方法L2L_2L2​范数正则化(regularization)高维线性回归实验从零开始的实现初始化模型参数定义L2范数惩罚项定义训练和测试观察过拟合使用权重衰减简洁实现丢弃法丢弃法从零开始的实现简洁实现 模型选择、过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前,我们需要区分训练误差(training error)和泛化误