分布式深度学习研究

传统单机深度学习模型的训练耗时，动辄花费一周甚至数月的时间，让研究者望而却步，因此深度学习并行训练的方法被提出，用来加速深度学习算法的学习过程。文章首先分析了为什么要实现分布式训练，然后分别介绍了基于模型并行和数据并行两种主要的分布式深度学习框架，最后对两种不同的分布式深度学习框架的优缺点进行比较，得出结论。