《动手学——凸优化》笔记

优化与深度学习 优化与估计 尽管优化方法可以最小化深度学习中的损失函数值,但本质上优化方法达到的目标与深度学习的目标并不相同。 优化方法目标:训练集损失函数值 深度学习目标:测试集损失函数值(泛化性) 优化在深度学习中的挑战 局部最小值 鞍点 梯度消失 局部最小值 f(x)=xcos⁡πx f(x) = x\cos \pi x f(x)=xcosπx 鞍点 A=[∂2f∂x12∂2f∂x1∂x2⋯∂2f∂x1∂xn∂2f∂x2∂x1∂2f∂x22⋯∂2f∂x2∂xn⋮⋮⋱⋮∂2f∂xn∂x1∂2f∂xn∂x2⋯∂2f∂xn2] A=\left[\begin{array}{cccc}{\f