专题1 无约束优化.pdf

最近在复习最优化方法的无约束部分,做了一些总结,想分享一下。 本专题从最简单的一维线性搜索(黄金分割法、斐波那契数列法、牛顿法、割线法)开始,然后介绍多元函数的搜索方法,包括最速下降法和牛顿法,最后针对牛顿法需要计算Hessen矩阵的特点对牛顿法的改进提出了一些想法(共轭方向法、拟牛顿法)。 本篇文档比较注重数学公式的推导,有助于从更深刻的层面理解无约束优化问题。