Scala基础(11) 运行基本流程及RDD

Spark和Hadoop的比较 MapReduce Spark 数据存储结构:磁盘HDFS文件系统的split 使用内存构建弹性分布式数据集RDD,对数据进行运算和cache 编程范式:Map+Reduce DAG:Transformation+Action 计算中间结果写入磁盘,IO及序列化、反序列化代价大 计算中间结果在内存中维护,存取速度比磁盘高几个数量级 Task以进程方式维护 需要数秒时间才能够启动任务 Task以线程方式 对于小数据集读取能够达到亚秒级的延迟 在实际应用中,大数据处理主要包括以下三个类型: 复杂的批量数据处理(通常时间跨度在数十分