1. 首页
  2. 编程语言
  3. 其他
  4. 论文研究基于Spark的并行Eclat算法.pdf

论文研究基于Spark的并行Eclat算法.pdf

上传者: 2019-09-14 13:15:11上传 PDF文件 1.17MB 热度 48次
通过对Spark大数据平台以及Eclat算法的深入分析,提出了基于Spark的Eclat算法(即SPEclat)。针对串行算法在处理大规模数据时出现的不足,该方法在多方面进行改进:为减少候选项集支持度计数带来的损耗,改变了数据的存储方式;将数据按前缀进行分组,并划分到不同的计算节点,压缩数据的搜索空间,实现并行化计算。最终将算法结合Spark云计算平台的优势加以实现。实验表明该算法可在处理海量数据集时高效运行,并且在面对数据量大规模增长的情况下具备良好的可扩展性。
下载地址
用户评论