SparkSQL源码分析之PhysicalPlan到RDD的具体实现
接上一篇文章SparkSQLCatalyst源码分析之Physical Plan,本文将介绍PhysicalPlan的toRDD的具体实现细节:我们都知道一段sql,真正的执行是当你调用它的collect()方法才会执行Spark Job,最后计算得到RDD。SparkPlan基本包含4种操作类型,即BasicOperator基本类型,还有就是Join、Aggregate和Sort这种稍复杂的。如图:Project的大致含义是:传入一系列表达式Seq[NamedExpre
下载地址
用户评论