1. 首页
  2. 人工智能
  3. 深度学习
  4. 深度学习中的优化问题及解决方法

深度学习中的优化问题及解决方法

上传者: 2023-03-17 16:06:32上传 MD文件 6.42KB 热度 19次

深度学习中的优化问题是寻找神经网络上一组能降低代价函数的参数,解决该问题的方法。其中重要的点有梯度的负方向是函数减小最快的方向;使用一阶泰勒展开式近似当前点的函数值等。对于选择优化算法,建议对于稀疏数据使用自适应的学习率的优化方法,SGD更加可靠;同时需要训练较深较复杂的网络时,建议使用学习率自适应的优化方法,Adagrad,RMSprop和Adam为常用算法中性能较好的。

下载地址
用户评论