1. 首页
  2. 数据库
  3. 其它
  4. SparkStandalone架构设计要点分析

SparkStandalone架构设计要点分析

上传者: 2021-02-01 16:07:48上传 PDF文件 1.01MB 热度 15次
Apache Spark是一个开源的通用集群计算系统,它提供了High-level编程API,支持Scala、Java和Python三种编程语言。Spark内核使用Scala语言编写,通过基于Scala的函数式编程特性,在不同的计算层面进行抽象,代码设计非常优秀。RDD(ResilientDistributedDatasets),弹性分布式数据集,它是对分布式数据集的一种内存抽象,通过受限的共享内存方式来提供容错性,同时这种内存模型使得计算比传统的数据流模型要高效。RDD具有5个重要的特性,如下图所示:上图展示了2个RDD进行JOIN
下载地址
用户评论