凸优化

文章目录优化在深度学习中的挑战局部最小值鞍点梯度消失凸性凸函数的性质 尽管优化方法可以最小化深度学习中的损失函数值,但本质上优化方法达到的目标与深度学习的目标并不相同。 优化方法目标:训练集损失函数值 深度学习目标:测试集损失函数值(泛化性) 两者区别用画图体现: In [1]: %matplotlib inline import sys sys.path.append('/home/kesci/input') import d2lzh1981 as d2l from mpl_toolkits import mplot3d # 三维画图 import numpy as np def f(x):