15.Spark源码分析

Spark源码分析 各个组件介绍 后面补充。。。。 StandAlone模式 在StandAlone模式的start-all的shell启动脚本下,在当前机器执行了JAVA_HOME/bin/java -cp ....Master和在配置的slave的机器中执行 JAVA_HOME/bin/java -cp ....Worker.这两种进程在启动后通过netty进行rpc通信。 Master的启动 首先创建一个RpcEnv对象,负责管理所有通信逻辑,核心代码为val rpcEnv: RpcEnv = RpcEnv.create(SYSTEM_NAME, host, port, conf, securi