ApacheSpark作为编译器:深入介绍新的Tungsten执行引擎

《Spark2.0技术预览:更容易、更快速、更智能》文中简单地介绍了Spark2.0相关技术,本文将深入介绍新的Tungsten执行引擎。ApacheSpark已经非常快了,但是我们能不能让它再快10倍?这个问题使得我们从根本上重新思考Spark物理执行层的设计。当你随便调查一个现代数据引擎(比如Spark、其他的MPP数据库),你会发现大部分的CPU周期都花费在无用的工作之上,比如虚函数的调用;或者读取/写入中间数据到CPU高速缓存或内存中。通过减少花在这些无用功的CPU周期一直是现代编译器长期性能优化的重点。ApacheSpark2.0中附带了第二代Tungstenengine。这一代引擎