2015Spark技术峰会-SparkSQL结构化数据分析-连城

Databrciks工程师，Spark Committer，Spark SQL主要开发者之一的连城详细解读了“Spark SQL结构化数据分析”。他介绍了Spark1.3版本中的很多新特性。重点介绍了DataFrame。其从SchemaRDD演变而来，提供了更加高层抽象的API，在形态上和R和Python很类似。Spark DataFrame vs.RDD，有些类似于动态语言和静态语言的区别，在很多场景下，DataFrame优势比较明显。1.3版中，Spark进一步完善了外部数据源API，并可智能进行优化。