深度学习梯度下降算法背景原理各种算法介绍

深度学习梯度下降算法背景原理各种算法介绍.梯度下降是迭代法的一种可以用于求解最小二乘问题线性和非线性都可以.在求解机器学习算法的模型参数即无约束优化问题时梯度下降Gradient Descent是最常采用的方法之一另一种常用的方法是最小二乘法.在求解损失函数的最小值时可以通过梯度下降法来一步步的迭代求解得到最小化的损失函数和模型参数值.反过来如果我们需要求解损失函数的最大值这时就需要用梯度上升法来迭代了.