Compass大数据任务诊断平台的特点和使用方法

Compass是一种开放式的大数据诊断平台，基于OPPO内部平台开发，旨在诊断DolphinScheduler、Airflow等调度平台上所运行的大数据任务。与传统方式不同，Compass平台具有无创、即时诊断的特点，无需修改现有调度即可实现体验诊断效果。该平台支持多种调度平台，包括海豚调度器、气流或自研等，同时支持Spark 2.x或3.x、Hadoop 2.x或3.x故障排除。它能够检测工作流层和Spark引擎层的异常情况，包括数据倾斜、大表扫描和记忆浪费等问题。此外，Compass还支持各种日志匹配规则编写和异常阈值调整，以满足不同应用场景的需求。