优化算法之梯度下降(Gradient Descent)

一、梯度下降法 重申,机器学习三要素是:模型,学习准则,优化算法。这里讨论一下梯度下降法。 通常为了充分利用凸优化中的一些高效成熟的优化方法,像:共轭梯度、拟牛顿法等,所以呢很多的机器学习算法倾向于选择合适的模型和损失函数来构造一个凸函数作为优化的目标。但是呢,也有一些模型(例如神经网络)的优化目标是非凸的,以至于只能找到其局部最优解。 机器学习中,常用的优化算法就是梯度下降法,首先初始化参数θ0\theta_0θ0​,然后按照下列公式进行参数的更新: θt+1=θt−α∂R(θ)∂θ(式1) \theta_{t+1}=\theta_t-\alpha\cfrac{\partial\mathca