防止过拟合(笔记)

一、正则化 所有的有监督机器学习,无非就是正则化参数的同时最小化经验误差函数。最小化经验误差是为了极大程度的拟合训练数据,正则化参数是为了防止过分的拟合训练数据。 λ 为正则化系数,通常是大于 0 的,是一种调整经验误差项和正则化项之间关系的系数。 L1 范数就是矩阵中各元素绝对值之和; L2 范数是指矩阵中各元素的平方和后的求根结果。正则化的原理在于最小化参数矩阵的每个元素,使其无限接近于 0 L1 就是江湖上著名的 lasso,L2 则是岭回归