1. 首页
  2. 编程语言
  3. 其他
  4. spark本地开发模式配置

spark本地开发模式配置

上传者: 2020-03-10 14:24:40上传 RAR文件 9.76MB 热度 22次
在自己的机器上配置spark的本地开发模式,可以用来测试spark代码是否正确,如果没问题,可以提交到spark集群上去运行,免去每次都要打包放到集群上去测试的麻烦。因为在网络上没找到合适的资源可以快速构建,所以就自己鼓捣了下,分享出来让有同样需求的同学参考下。 1.下载和安装jdk和scala,这个不用多说了,我安装的jdk版本是jdk1.7,scala版本2.10.4 2.下载hadoop的安装包,我下载的是hadoop-2.6版本的,配置HADOOP_HOME和配置JAVA_HOME类似,不多说了 3.把附件架包中的winutils.exe添加到hadoop/bin目录下,这个是用
用户评论