在Eclipse中使用Hadoop-Eclipse-Plugin编译和运行MapReduce程序

要在Eclipse中编译和运行MapReduce程序，首先需要安装并配置Hadoop-Eclipse-Plugin。以下是详细的安装和使用步骤：

一、安装配置Hadoop-Eclipse-Plugin

下载Hadoop-Eclipse-Plugin

从GitHub下载最新版本的Hadoop-Eclipse-Plugin-JAR文件。将其放置在Eclipse的dropins目录下，重启Eclipse。

配置Hadoop路径

启动Eclipse后，通过Window -> Preferences，左侧会出现Hadoop Map/Reduce选项。在右侧设置Hadoop安装路径，配置完成后如图所示。

验证配置

通过Windows -> Open Perspective -> Map Reduce视图，右击图标并进行配置。输入master节点的IP地址（或直接使用master），如图所示。

添加数据文件夹

使用Hadoopshell命令创建输入文件夹并设置权限（如 hadoop fs -mkdir -p /test/data 和 hadoop fs -chmod -R 777 /test）。通过Eclipse的DFS Locations进行文件上传，如图所示。

新建项目

点击File -> New -> Project，选择Map/Reduce Project并打开。

探索项目

创建完成后，左侧的Project Explorer中即可看到新项目。

上传数据文件

创建输入文件夹（如 /test/data），然后上传文件。可以通过右键Eclipse的DFS Locations进行文件上传。

配置运行参数

在运行时，可在WordCount项目的Run Configurations中设置输入输出路径，并自定义其他参数，如输入文件夹和输出文件夹。

编译代码

将最新的配置文件（如core-site.xml）复制到项目的src目录下。

提交任务

通过右键点击WordCount.java并选择Run As -> Run Configurations，配置运行参数，填写输入输出路径等信息。

查看输出结果

运行结束后，检查output下的part-r-00000文件查看结果。

通过以上步骤，您可以在Eclipse中成功地运行MapReduce程序。

上一篇：（十三）MapReduce的其他案例及总结

下一篇：（十一）MapReduce案例之WordCount（2）

喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！

-- 愿君每日到此一游！