Spark优化总结

一、资源 任何计算都不不开资源的开销,如何把资源利用到极致显得非常重要。 drive process向Resource Manager申请任务资源,yarn给executor进程分配资源,Executors的内存重要分为三种: (1)executor内存(60%):执行内存,执行shuffle(join)的时候,shuffle会用这个内存区来存储数据,如果溢出写磁盘 (2)storage内存(20%):存储缓存,cache、presist、broadcast (3)other内存(20%):应用程序 附:Task的执行速度和每个executor进程的CPU Core