Spark调优广播连接优化

Spark 调优，直接join操作会让所有数据进行shuffle，这个过程需要大量的 IO 操作，会影响性能。相同的 key 会集中在同一个 partition 中，但这样会导致任务的并发度受限。使用broadcast方式，可以把小表直接分发到每台执行节点上，从而让关联操作在本地完成，基本上就取消了 shuffle 过程。这样一来，运行效率就大大提高了，任务执行也变得更加高效。如果你经常大数据量的关联操作，推荐尝试这种方式，效果蛮不错的。