梯度下降优化算法综述.pdf

梯度下降优化算法虽然越来越流行,但通常都是如此用作黑盒优化器,作为其优势和实践的实际解释弱点很难得到。 本文旨在为读者提供关于允许她的不同算法的行为的直觉把它们用到。 在本概述过程中,我们会看到不同的变体度下降,总结挑战,介绍最常见的优化算法,在并行和分布式设置中查看体系结构,并进行调查优化梯度下降的其他策略