spark:apache spark原始码 apache源码

阿帕奇火花 Spark是用于大数据的快速通用集群计算系统。 它提供了Scala,Java,Python和R中的高级API,以及优化的引擎,该引擎支持用于数据分析的通用计算图。 它还支持丰富的高级工具集,包括用于SQL和DataFrames的Spark SQL,用于机器学习的MLlib,用于图形处理的GraphX和用于流处理的Spark Streaming。 在线文件 您可以在找到最新的Spark文档,包括编程指南。 此自述文件仅包含基本的安装说明。 建筑火花 Spark是使用构建的。 要构建Spark及其示例程序,请运行: build/mvn -DskipTests clean package (如果您下载了预先构建的程序包,则无需执行此操作。) 您可以通过在Maven中使用-T选项来使用多个线程来构建Spark,请参见 。 可从项目站点的获得更多详细的文档。 有关常规开发技巧,包