1. 首页
  2. 数据库
  3. 其它
  4. Spark源码系列(四)图解作业生命周期

Spark源码系列(四)图解作业生命周期

上传者: 2021-02-01 08:46:42上传 PDF文件 262.97KB 热度 12次
这一章我们探索了Spark作业的运行过程,但是没把整个过程描绘出来,好,跟着我走吧,let youknow!我们先回顾一下这个图,DriverProgram是我们写的那个程序,它的核心是SparkContext,回想一下,从api的使用角度,RDD都必须通过它来获得。下面讲一讲它所不为认知的一面,它和其它组件是如何交互的。SparkContext实例化之后,在内部实例化两个很重要的类,DAGScheduler和TaskScheduler。在standalone的模式下,TaskScheduler的实现类是TaskSchedulerIm
用户评论