Spark基本原理与设计思想

Spark是一个通用的并行计算框架，由加州伯克利大学（UCBerkeley）的AMP实验室开发于2009年，并于2010年开源，2013年成长为Apache旗下在大数据领域最活跃的开源项目之一。虽然Spark是一个通用的并行计算框架，但是Spark本质上也是一个基于map-reduce算法模型实现的分布式计算框架，Spark不仅拥有了HadoopMapReduce的能力和优点，还解决了HadoopMapReduce中的诸多性能缺陷。