工业大数据Spark查询优化案例分享.pdf

本次主要分享上汽集团对于Spark查询的优化思路。大数据量的精确查询是我们经常遇到的一类场景。为了解决此类问题,我们做了诸多实践。实践思路主要分为两类,一类主要着眼于物理层面,主要为了缩小数据源的范围,有些甚至可以做到精确定位。另一类主要着眼于查询计划的优化,在使用Spark CBO的同时,我们探索并实现了一些特定case的聚合函数下推。相信对有类似需求的工程师们会有所帮助。 直播链接:https://yq.aliyun.com/live/1091 技术交流 点击链接入群 https://dwz.cn/Fvqv066s 或扫码进群 Cass