1. 首页
  2. 数据库
  3. 其它
  4. SparkSQL源码分析之PhysicalPlan到RDD的具体实现

SparkSQL源码分析之PhysicalPlan到RDD的具体实现

上传者: 2021-02-01 20:48:48上传 PDF文件 212.9KB 热度 8次
接上一篇文章SparkSQLCatalyst源码分析之Physical Plan,本文将介绍PhysicalPlan的toRDD的具体实现细节:我们都知道一段sql,真正的执行是当你调用它的collect()方法才会执行Spark Job,最后计算得到RDD。SparkPlan基本包含4种操作类型,即BasicOperator基本类型,还有就是Join、Aggregate和Sort这种稍复杂的。如图:Project的大致含义是:传入一系列表达式Seq[NamedExpre
下载地址
用户评论