饿了么大数据平台建设

饿了么的大数据平台团队成立于2015年5月份左右,在16年4月份,Hadoop集群规模还只在100+节点数,而在一年时间里集群规模快速增长到1000+的水平,这还是在引入数据生命周期进行管控的情况下的规模增速;同样,流计算集群的规模虽然相对较小,但也经历了10倍的增长,一些topic的吞吐量已超过百万每秒。 当前平台部分的逻辑架构如图1,并持续演进。图1饿了么大数据平台的逻辑架构图饿了么已经成立9年时间,相对而言数据平台团队非常年轻,在加入团队之初面临了如下挑战:人少活多