spark本地开发模式配置
在自己的机器上配置spark的本地开发模式,可以用来测试spark代码是否正确,如果没问题,可以提交到spark集群上去运行,免去每次都要打包放到集群上去测试的麻烦。因为在网络上没找到合适的资源可以快速构建,所以就自己鼓捣了下,分享出来让有同样需求的同学参考下。
1.下载和安装jdk和scala,这个不用多说了,我安装的jdk版本是jdk1.7,scala版本2.10.4
2.下载hadoop的安装包,我下载的是hadoop-2.6版本的,配置HADOOP_HOME和配置JAVA_HOME类似,不多说了
3.把附件架包中的winutils.exe添加到hadoop/bin目录下,这个是用
用户评论