大数据学习(二十一)spark高级算子

简介 这次主要分享一下spark RDD的常用的算子。 然后利用这些算子进行一些实战的操作。 高级算子 mapPartitionsWithIndex 源码: def mapPartitionsWithIndex[U: ClassTag]( f:(Int, Iterator[T]) => Iterator[U], 第一个参数:分区号 第二个参数:分区中的元素 demo1: val RDD1 = sc.parallelize(List(1,2,3,4,5,6,7),2) //然后我们创建一个函数来返回RDD中的分区和相应的元素 def func1(index : Int,iter : Ite