抗住日均千亿级消息的实时计算引擎在贝壳的应用实践

贝壳找房目前有1000多人的产品技术团队。从实时数据应用角度,公司内主要应用的实时数据,一个是线上的日志,大概有两千多个线上的服务,每个服务又输出了很多的日志,日志数据是流式数据应用最多的。第二部分就是埋点,在APP、web端上报的经纪人作业情况和C端用户的行为,这部分通过前端的埋点技术上报。第三部分就是业务的数据,业务用kafka做消息队列产生的实时数据。1、流式计算平台平台目前主要建设SparkStreaming、Flink两种在实时计算中比较常见的计算引擎。平台化的背景就是早期如果公司内有业务想用数据流进行计算,可能需要申请客户端,自己去搭建一个客户端,然后向集