Iterative Reweighted Least Squares(IRLS)

IRLS (迭代重加权最小二乘)优化算法理解 最近在阅读去模糊算法中,在估计模糊核过程中经常提到IRLS算法,决定好好理解一下! 以下理解来自论文《Iterative Reweighted Least Squares》 对于线性方程组的最优近似解问题: 写成矩阵形式, Ax=b,A∈RM×N{\bf Ax=b,A\in }\mathbb R^{M\times N}Ax=b,A∈RM×N 等价于最小化误差向量e=Ax−b\bf e=Ax-be=Ax−b的范数。 最小平方误差近似 使用二范数作为误差度量:∥e∥22=∑iei2=eTe{\bf \Vert e\Vert_2^2}=\sum_i e