S4:分布式流计算平台

S4是一个通用的,分布式的,可扩展的,分区容错的,可插拔的平台。开发者可以很容易的在其上开发面向无界不间断流数据处理的应用。编键的数据事件被分类路由到处理单元(ProcessingElements,PEs),处理单元消费这些事件,做如下事情之一或全部:(1)发出一个或多个可能被其他PE处理的事件。(2)发布结果。这种架构类似提供了封装和地址透明语义的Actor模式,因此允许应用在大规模并发的同时暴露简单的编程接口给应用开发者。在这篇论文里,我们将勾画S4的架构细节,描述各种各样的应用,包括实际中的部署。我们的设计主要由大规模应用在生产环境中的数据采集和机器学习所驱