spark：Executor分配详解

用户应用new SparkContext后，集群就会为在Worker上分配executor,但是增加executor的时候需要考虑好内存消耗，因为一台机器的内存分配给越多的executor，每个executor的内存就越小，以致出现过多的数据spill over甚至out of memory的情况。CPU的core数量，每个executor可以占用一个或多个core，可以通过观察CPU的使用率变化来了解计算资源的使用情况，如此根据CPU的使用情况来分配executor数量，没有固定分配数量模式。