模型的正则化———权重衰减

正则化 降低模型的过拟合的好方法是正则化这个模型(限制它):模型有越少的自由度,就越难以拟合数据。 对于一个线性模型,正则化的典型实现就是约束模型中参数的权重。 权重衰减(weight decay) 权重衰减等价于 L2L_2L2​ 范数正则化(regularization)。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小,是应对过拟合的常用手段。 L2L_ 2L2​范数正则化在模型原损失函数基础上添加L2L_2L2​ 范数惩罚项,从而得到训练所需要最小化的函数。L2L_2L2​ 范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。 以一个线性回归损失函数为例: 带