优化算法梯度下降法.ppt

梯度下降法;梯度下降法又称最速下降法函数J(a)在某点ak梯度 是一个向量其方向是J(a)增长最快方向显然负梯度方向是J(a)减少最快方向 在梯度下降法中求某函数极大值时沿着梯度方向走可以最快达到极大点反之沿着负梯度方向走则最快地达到极小点 ;3;求函数J(a)极小值问题可以选择任意初始点a0,从a0出发沿着负梯度方向走可使得J(a)下降最快 s(0)点a0搜索方向;对于任意点ak可以定义ak点负