在eclipse上进行Hadoop开发环境的配置

将详细介绍如何在Eclipse上配置Hadoop开发环境，包括下载和安装Eclipse、配置Hadoop插件、启动Hadoop、上传测试数据、创建MapReduce项目和设置运行参数等步骤。

一、下载和安装Eclipse

Eclipse是一个流行的集成开发环境（IDE），可以用来开发和调试Hadoop应用程序。下载Eclipse可以从官方网站或中国镜像站点进行下载。在中，我们将从Eclipse官方网站下载Eclipse，选择Linux版本，然后点击64位链接下载。下载完成后，需要解压缩Eclipse，然后移动到/usr/local目录下。

二、配置Hadoop插件

为了在Eclipse中使用Hadoop，我们需要安装Hadoop插件。下载hadoop-eclipse-plugin-x.x.x.jar，并将其拷贝到Eclipse的plugins目录下。在Eclipse中，还需要配置Hadoop MapReduce的安装路径，在实验环境中为/usr/local/hadoop-1.1.2。

三、启动Hadoop

使用以下命令启动Hadoop：cd /usr/local/hadoop-x.x.x/bin，然后输入start-all.sh命令。

四、上传测试数据

在Eclipse中上传测试数据到HDFS文件系统，需要新建一个Hadoop Location，然后点击新增按钮，输入MapReduce和HDFS Master相关信息。点击右键，选择Upload file to DFS，上传文件，例如MaxTemperatureData.txt。上传成功后，DFS Locations中将出现CentOS HDFS的目录树。

五、创建MapReduce项目

在Eclipse中创建MapReduce项目，首先安装插件，然后在New Project页面建立Map/Reduce项目。需要指定Hadoop MapReduce运行包的路径，点击完成。

六、设置运行参数

在Eclipse中选择main方法所在类，点击右键，选择Run-Run Configurations。在Arguments页签中填写MaxTemperature运行的输入路径和输出路径参数，注意路径必须是全路径，否则运行会报错。

七、运行并查看结果

设置运行参数完毕后，点击运行按钮。运行成功后，刷新CentOS HDFS中的输出路径out目录，打开part-r-00000文件，查看运行结果。

详细介绍了如何在Eclipse上配置Hadoop开发环境，包括下载和安装Eclipse、配置Hadoop插件、启动Hadoop、上传测试数据、创建MapReduce项目和设置运行参数等步骤。