Spark:为大数据处理点亮一盏明灯

ApacheSpark为Hadoop集群带来了速度极高的内存内分析能力,从而将大规模数据集的处理周期由几小时成功缩短为几分钟。Spark的意义并不在于取代Hadoop。正相反,它为那些高度迭代的工作负载提供了一套备用处理引擎。通过显著降低面向磁盘的写入强度,Spark任务通常能够在运行速度方面高出Hadoop MapReduce几个数量级。作为“寄生”在Hadoop集群当中的得力助手,Spark利用Hadoop数据层(HDFS、HBase等等)作为数据管道终端,从而实现原始数据读取以及最终结果存储。作为由Scala语言编写的项目,Spa