torch distlearn:一套针对Torch的分布式学习算法 源码

远程学习 借助ipc库,在Torch中内置了一些常见的分布式学习算法。 全部减少SGD 跨N个过程散布项目的小批量的梯度计算。 使用AllReduce快速将梯度求和,然后将总值分配回每个过程。 local allReduceSGD = require ' distlearn.AllReduceSGD ' (tree) -- Make sure all the nodes start with the same parameter values allReduceSGD. synchronizeParameters (params) for _ = 1 ,epochs do for _ = 1 ,steps -- Compute your gradients as normal local grads = computeYourGrads ( ... )