dist keras:使用Keras和Apache Spark进行分布式深度学习重点是分布式培训 源码

分布式Keras 使用Apache Spark和Keras进行分布式深度学习。 介绍 分布式Keras是在Apache Spark和Keras之上构建的分布式深度学习框架,其重点是“最先进的”分布式优化算法。 我们以易于实现新的分布式优化器的方式设计了框架,从而使人们能够专注于研究。 支持多种分布式方法,例如但不限于使用数据并行方法训练合奏和模型。 我们提供的大多数分布式优化器均基于数据并行方法。 如所述,数据并行方法是一种学习范例,其中使用单个模型的多个副本来优化单个目标。 使用这种方法,我们可以显着减少模型的训练时间。 根据参数化,我们还观察到,与更传统的方法(例如,像实现一样)相比,