Task03

过/欠拟合 训练误差:模型在训练集上的误差 泛化误差:模型在在任意测试数据(测试集)上的误差 过拟合:模型过分学习了数据中存在的干扰和噪声 训练误差>> 泛化误差 欠拟合:模型未能学习到数据中的内在规律 训练误差 = 泛化误差 >> 0 解决过拟合: 增加数据集的数据量和样本多样性 使用权重衰减 使用drop层 (丢弃法) 使用BatchNormal层 (正则化) 解决欠拟合: 怎加模型的深度和宽度 将学习率适当减小 更换优化策略 L2范数正则化 L(w1,w2,b)+λ2n∣w∣2L(w1,w2,b)=1n∑i=1n12(x1(i)w1+x2(i)w2+b−y(i))2w