论文研究基于Spark无线城市社团发现算法的研究.pdf

针对已有的社团发现算法存在时间复杂度较高、运行过程会产生大量重复团等问题，引入二叉树的存储结构、权重排序、深度优先遍历的概念，与Spark基于内存计算的特点相结合，提出一种改进的并行化S-T-CS算法。通过搭建Spark大数据平台实现该算法，并与传统团搜索CS算法和基于Hadoop的MR-T-CS算法进行性能对比。实验结果表明，S-T-CS算法解决了生成结果冗余的问题，降低了时间代价，提升了社团发现算法的运行速度和对海量数据的处理能力。