为什么正则化能够解决过拟合问题?

为什么正则化能够解决过拟合问题一. 正则化的解释二. 拉格朗日乘数法三. 正则化是怎么解决过拟合问题的1. 引出范数1.1 L_0范数1.2 L_1范数1.3 L_2范数2. L_2范式正则项如何解决过拟合问题2.1 公式推导2.2 图像推导[^2]2.2.1 L1正则化2.2.2 L2正则化四. 结论 如果觉得不想看前两大点,可以直接看第三点公式推导或图像观察,个人觉得特别好理解。 一. 正则化的解释 为防止模型过拟合,提高模型的泛化能力,通常会在损失函数的后面添加一个正则化项。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓惩罚是指对损失函数中的某些参数做一些约束, 使得参数的