最优化算法python实现篇(4)——无约束多维极值(梯度下降法)

最优化算法python实现篇(4)——无约束多维极值(梯度下降法)摘要算法简介注意事项算法适用性python实现实例运行结果算法过程可视化 摘要 本文介绍了多维无约束极值优化算法中的梯度下降法,通过python进行实现,并可视化展示了算法过程。 算法简介 给定初始点,沿着负梯度方向(函数值下降最快的方向)按一定步长(机器学习中也叫学习率)进行搜索,直到满足算法终止条件,则停止搜索。 注意事项 学习率不能太小,也不能太大,可以多尝试一些值。当然每次沿着负梯度方向搜索时,总会存在一个步长使得该次搜索的函数值最低,也就是一个一维无约束极值问题,可调用黄金分割法的一维无约束优化方法求取最佳步长(学习率