如何做数值实验 以神经网络为例.docx

数值实验是一个新算法提出的一个重要组成部分。下面将以机器学习中的深度学习为例, 阐述如何设计数值实验达到对比说明目的。 一、无正则或简单正则类算法 1、 模型未变，算法改进类：指在已有的算法基础上做步长或者方向的改变，模型未改变。 代表算法: (a) Adagrad[1]、(b) ADAM[2]、(c) AdaFrom[3] [1] John C Duchi, Elad Hazan, and Yoram Singer. Adaptive subgradient methods for