MaestroFPGA上使用异步累积更新加速迭代算法框架
Maestro是一个分布式集群计算框架,用于使用FPGA加速迭代算法。迭代算法代表了一类普遍存在的数据挖掘、网络搜索和科学计算应用程序。在迭代算法中,通过对输入数据集(例如PageRank,Dijkstra的最短路径)执行重复计算得出最终结果。并行化此类算法的现有技术使用诸如MapReduce和Hadoop之类的软件框架,在集群中的多个基于CPU的工作站之间分发数据进行迭代并收集每次迭代的结果。这些平台的特点是需要在迭代边界同步数据计算,从而阻碍系统性能。
Maestro使用异步累积更新来打破这些同步障碍。这些更新允许为大量数据点积累中间结果,而无需基于迭代的障碍,允许集群中的各个节点独立地朝着最终结果前进。计算是动态优先级的,以加速算法收敛。
下载地址
用户评论