梯度下降(Gradient Decent)与随机梯度下降(Stochastic Gradient Decent)

梯度下降(Gradient Decent) 主要参考资料:台大李宏毅教授的机器学习课程 B站视频 与之前我有讲过的EM算法类似,梯度下降算法同样是一个优化算法。它所要解决的问题是: 求得 θ⋆=arg min⁡L(θ)\theta^{\star}=\argmin L(\theta)θ⋆=argminL(θ) 其中θ\thetaθ是待更新的参数,注意这可以包括多个参数,也就是说θ\thetaθ是一个向量,L(θ)L(\theta)L(θ)是loss function,也就是在优化过程中我们要不断减小的函数。 整个过程用数学来描述其实很简单,用到的其实就是在高数中的梯度的概念。假设θ=[θ1,θ2