大数据面试之——Spark

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 1.Spark有几种部署模式,各个模式的特点 1.本地模式 Spark不一定非要跑在hadoop集群,可以在本地,起多个线程的方式来指定。方便调试,本地模式分三类 local:只启动一个executor local[k]: 启动k个executor local:启动跟cpu数目相同的 executor 2.standalone模式 分布式部署集群,自带完整的服务,资源管理和任务监控是Spark自己监控,这个模式也是其他模式的基础 3.Spark on yarn模式 分布式部署集群,资源和任务监控交给yarn管理 粗粒度