GMiner 源码

矿工 G-Miner是一个通用的分布式系统,旨在对大型图形进行图形挖掘。 图挖掘是数据挖掘中最重要的领域之一。 但是,由于现有研究集中在顺序算法上,因此仍然缺乏用于图挖掘的可伸缩解决方案。 尽管近年来已经提出了许多分布式图形处理系统,但是它们中的大多数被设计为并行化计算,例如PageRank和“广度优先搜索”,这些计算将状态保持在单个顶点上并沿边缘传播更新。 另一方面,图挖掘可能会生成许多子图,这些子图的数量可能远远超过顶点的数量。 这不可避免地导致更高的计算和空间复杂度,从而使现有的图形系统效率低下。 我们建议使用G-Miner,这是一种分布式系统,具有为常规图形挖掘设计的新架构。 G-Miner采用统一的编程框架来实现各种图形挖掘算法。 我们将子图处理建模为独立的任务,并设计了新颖的任务管道来简化任务处理,以提高CPU,网络和I / O的利用率。 功能亮点 通用图形挖掘方案: G-M