机器学习中的随机优化算法2.53.docx

PAGE 1 PAGE 1 I 摘要 对于机器学习中的数值优化问题考虑到其规模和维数都比较大传统的方法难以高效的解决这一问题近些年来针对大规模的机器学习问题做了很多研究比较重要的一类方法是 随机算法优化方法主要分为一阶梯度方法和二阶牛顿方法两大类针对一阶方法的改进和研究比较成熟和完善一阶方法又可以分为两类原始方法和对偶方法原始方法比较有代表性的有SAGSAGASVRG对偶方法有SDCA和SPDC