Project_2_Group7:走吧〜 源码

CSCI3390大规模数据处理(李健,姚新宇) 计算并报告您的发现 (3分)实现exact_F2函数。 该函数接受字符串的RDD作为输入。 输出应该正好是F2 = sum(Fs^2) ,其中Fs是板块s的出现次数,并且总和应计入所有板块。 可以使用RDD类的map和reduceByKey方法在一行中完成此操作。 使用1个驱动程序和4个具有2个N1内核的计算机在本地和GCP上运行exact_F2 。 将结果复制到您的报告中。 如果程序运行超过30分钟,请终止该程序。 代码: def exact_F2(x: RDD[String]) : Long = { val ans = x.map(a => (a, 1.asInstanceOf[Long])).reduceByKey((a,b) => a+b).map(t => t._2*t._2).reduce(_+_) retur