optimizers:实现在测试功能上运行的各种优化程序以进行优化 源码

优化器 使用Python和数值库的各种优化算法的实现。 该存储库可作为本文中使用的可视化和评估的来源。 任务清单 动量的随机梯度下降( ) AdaGrad( ) AdaDelta( D.Zeiler ) RMSProp( ) 亚当(亚当( ) NAdam(多扎特( )) AMSGrad( ) 实作 在查看每种算法的完整源代码。 1.具有动量的随机梯度下降 def step ( self , x , y ): g_t = self . func . df ( x , y ) self . v = self . momentum * self . v + self . lr * g_t return ( x - self . v [ 0 ], y - self . v [ 1 ]) 2. AdaGrad def step ( self , x , y ):