Best Deep Learning Optimizers:最新最出色的深度学习优化器(适用于Pytorch)的集合 适用于CNNNLP 源码

最佳深度学习优化器 最新,最出色的深度学习优化器(适用于Pytorch)的集合-适用于CNN,NLP 当前表现最好的人=带有渐变集中化的游侠是领导者(2020年4月11日),这仅在初始测试中。 更新 - 2021年4月:认识Madgrad! 添加了Madgrad,以减轻体重。 Madgrad是FB AI在2月发布的新优化器。 在使用变压器进行图像分类测试中,madgrad吹走了各种Adam变体。 但是,正如@nestoremeure所发现的那样,重量衰减量的影响类似于adam而不是adamW。 在测试中,AdamW样式的权重衰减是赢家,因此,在我的修改中使用了AdamW样式的wd。 推荐测试a)没有体重下降,由Madgrad的作者推荐,并且b)重量衰减与您使用此madgrad_wd版本的AdamW所使用的水平相同。 修改后的madgrad在这里: : 原始的madgrad在这里: