人工智能与机器学习 梯度下降法

人工智能与机器学习-梯度下降法 一、梯度下降法概述 梯度下降法(Gradient descent)是一个一阶最优化算法。 要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。 二、梯度下降法直观理解 以人下山为例,要到达最低点,需要以下步骤: 第一步,明确自己现在所处的位置 第二步,找到相对于该位置而言下降最快的方向 第三步,沿着第二步找到的方向走一小步,然后到底一个新的位置,这时候的位置就比原来更低 第四步,又明确当前所处位置,即回到第一步 第五步,到底最低点后就停下 基于以上步骤,就能够找到最低点,以下图为例 三、多