梯度下降中的梯度与下降

梯度下降的原理应用在监督学习的各个算法中,它的作用至关重要。但是,在学习过程中萌发了一个疑问,偏导数代表函数值在某个点某个变量上的变化方向和速度(变量变化1个单位,函数值变化偏导数个单位,此单位越小越精确)。为什么迭代式寻找函数最小值时,该变量的偏导数可以用作每次迭代的步进幅度呢?本文通过实验,解答了这个问题。 重温公式 以一次线性函数的拟合为例,训练集(x,y)∈(Rm,Rm)(x,y)\in( \reals ^m, \reals ^m)(x,y)∈(Rm,Rm),学习速率 α\alphaα 是标量: 预测函数: hθ(x)=θ0+θ1∗xh_{\theta}(x)=\theta_0 + \