适用于Hadoop 2.6.0的Eclipse插件

Question

我想用Java编写MapReduce作业。为此，我在Ubuntu 14.04 LTS VM中安装了Hadoop 2.6.0。安装目录为/usr/local/hadoop。

现在根据许多教程，他们在/contrib目录中找到一个Eclipse插件并将其粘贴到/Eclipse/plugins文件夹中。

问题是没有src/contrib文件夹，也没有任何Eclipse插件与Hadoop 2.6.0共存。那么如何配置Eclipse Europa来运行Hadoop MapReduce作业呢？如果不可能，那么编写MapReduce作业的替代方法是什么？

Answer 1

将Hadoop-2.6.0与eclipse集成

1. 创建用户“hdfs”，其中所有Hadoop进程都在运行。
2. Hadoop已安装到目录“/ opt / hadoop”。
3. Eclipse安装在目录“/ opt / eclipse”。

第1步： 下载hadoop-eclipse-plugin 2.6.0 jar

第2步： 在eclipse文件夹的plugins目录中复制eclipse的Map-Reduce插件 - sudo cp /home/hdfs/Downloads/hadoop-eclipse-plugin-2.6.0.jar / opt / eclipse / plugins / 使用命令重启eclipse - / opt / eclipse / eclipse -vm /usr/local/jdk1.8.0_05/bin/java -vmargs -Xmx1024m 如果由于X11转发问题而没有出现elcipse，请在切换到“hdfs”时尝试使用“sux”而不是“su”。 第3步：开始日食 1. $ ECLIPSE_HOME / eclipse

步骤4：在Eclipse菜单中单击，Window - ＆gt;开放视角 - ＆gt;其他 - ＆gt; MapReduce的

步骤5：在底部的MapReduce图标中，单击以添加新的Hadoop位置

第6步：输入MapReduce＆amp; HDFS运行端口 回想一下，$ HADOOP_HOME / conf / mapred-site.xml中指定的MapReduce端口（9001） 回想一下，$ HADOOP_HOME / conf / core-site.xml中指定的HDFS端口（9000） 输入Hadoop用户名

步骤7：添加Hadoop位置后，将在Eclipse Project Explorer窗口中显示/显示DFS位置（Windows - ＆gt; Show View - ＆gt; Project Explorer）

步骤8：添加Hadoop后，将在Project Explorer窗口中显示/显示DFS位置，

步骤9：右键单击DFS位置，然后单击“连接”

步骤10：成功连接后，将显示所有DFS文件夹。

步骤11：您可以创建目录，将文件上传到HDFS位置，右键单击任何列出的目录，将文件下载到本地。

Answer 2

下载并构建此项目 https://github.com/winghc/hadoop2x-eclipse-plugin

下载后请按照以下步骤操作：

$ cd src / contrib / eclipse-plugin

假设hadoop安装目录是/ usr / share / hadoop

$ ant jar -Dversion = 2.4.1 -Dhadoop.version = 2.4.1 -Declipse.home = / opt / eclipse -Dhadoop.home = / usr / share / hadoop

最终jar将在目录

生成

$ {hadoop2x-Eclipse的插件} /build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar