Spark——大型集群上的快速和通用数据处理架构pdf

基于大型集群的快速通用数据处理架构,为了实现上述的各种特性,我们通过简单的扩展 MapReduce,为其增加了数据共享原语,也就是所谓的弹性分布式数据集(RDDs)。我们发现,这样的扩展足以能够有效地覆盖大部分作业的需求。在开源的 Spark 系统中我们实现了 RDDs,同时使用了模拟测试程序和真实的用户应用对其进行评估。在许多应用领域中,Spark 已经接近或是超过了专有系统的性能,同时提供更强大的容错保证,并允许这些作业之间能够进行结合。我们从理论建模和实践的角度去探索 RDDs的通用性,来解释为什么这样的扩展可以覆盖大范围的不同作业需求。