滴滴出行实时计算系统架构及实践

滴滴出行作为全球最大的移动出行平台，每天收集和需要分析处理的数据量非常大。这些数据形式多样：既包括存储于数据库中的业务数据，也包括各种API请求所记录的文本日志。此外，更大的挑战在于业务上需要我们实时的分析处理如此大规模的数据。从数据生成到可被分析查询，系统延迟在秒级。我们选用Druid/Samza/Kafka/Spark/Hadoop等开源技术栈，开发了符合Lambdaarchitecture的OLAP系统。本次演讲我们以滴滴大数据实时监控系统为例，介绍滴滴实时计算系统架构所面临的挑战及相应解决方案。滴滴大数据实时监控系统服务于滴滴各个业务线，对关键业务指标的变化进行实时监控。研发、产品、运营人员可以据此及时了解业务现状，发现系统问题、调整业务决策。