big_data_spark_project 源码

设置说明 将项目复制到Vagrant存在的目录中 您可能需要通过运行使文件可执行(在以下所有情况下,都必须替换为项目目录) chmod +x /src/common_neighbors.py /src/jaccard_coefficient.py 启动无业游民的VM,然后启动hadoop dfs和spark的工作程序 vagrant up && vagrant ssh hadoop/sbin/start-dfs.sh spark/sbin/start-all.sh 将数据文件复制到hadoop并准备输出目录 hadoop/bin/hadoop fs -mkdir /input hadoop/bin/hadoop fs -put /vagrant//data/* /input hadoop/bin/hadoop