tensorflow中训练模型不同的优化算法实现与异同

在用深度学习进行模型训练的过程中，往往会根据自己模型情况选择不同的优化算法，这里将SGD,SGDM,NAG,AdaGrad,Adadelta,RMSProp,Adam,Nadam几乎全部的优化算法进行了数学原理的解释和代码实现，并最终在MNIST数据集中进行训练，直观看各自不同的效果。