梯度下降与Levenberg Marquardt算法的比较梯度下降和Levenberg Marquardt算法的比较

梯度下降法目前用于训练神经网络的算法通常是基于梯度下降法进行误差反向传播2核心思想是以目标函数的负梯度方向为搜索方向通过每次迭代使待优化的目标函数逐步减小最终使误差函数达到极小值.附加动量因子记忆上次迭代的变化方向3可以采用较大的学习速率系数以提高学习速度但是参数调整优化过程依然线性收敛相对速度依然较慢.LM算法4是一种利用标准数值优化技术的快速算法具有高斯牛顿法的局部收敛性和梯度下降法的全局特性在局部搜索能力上强于梯度下降法.LM算法基本思想是先沿着负梯度方向进行搜索然后根据牛顿法在最优值附近产生一个新的理想的搜索方向.LM算法具有二阶收敛速度迭代次数很少可以大幅度提高收敛速度和算法的稳定性避免陷入局部最小点的优点.