Eclipse MapReduce插件Hadoop 2.5.2

时间:2014-11-26 18:04:49

标签: eclipse hadoop eclipse-plugin mapreduce

我知道此问题之前已被多次询问过,但我找不到任何针对此特定情况的问题,而且这是最新的。如何使用Hadoop 2.5.2安装Eclipse MapReduce插件?我发现有多个教程针对其他版本解决这个问题,我知道它可以从here进行编译,但是这个链接虽然说明了2.x,但只说了2.4.1。无论如何,我尝试使用以下命令使用2.5.2编译它:

ant jar -Dversion=2.4.1 -Dhadoop.version=2.5.2 -Declipse.home=/opt/eclipse -Dhadoop.home=/usr/local/hadoop -DBuildfile: build.xml

尝试编译,但随后返回

  

警告:无法找到文件/usr/local/hadoop/share/hadoop/common/lib/jackson-core-asl-1.8.8.jar进行复制。

这是有道理的,因为Hadoop 2.5.2中这个jar的版本是1.9.13。

然后我尝试使用版本2.5.2,即使它没有在jar中提及,因为它表示它们支持2.x。

ant jar -Dversion=2.5.2 -Dhadoop.version=2.5.2 -Declipse.home=/opt/eclipse -Dhadoop.home=/usr/local/hadoop -DBuildfile: build.xml

在这种情况下,它表示BUILD SUCCESSFUL,但是没有输出 - 没有生成jar,也没有在'compile:'和'jar:'步骤下打印输出。

我甚至尝试从this guy's github下载已编译的jar,但当然也没有用 - 当我将jar添加到plugins文件夹时,它没有出现在Eclipse中。

有没有办法在Hadoop 2.5.2中使用该插件,还是必须降级到2.4.1?我使用的是Ubuntu 14.0.4,Hadoop 2.5.2和Eclipse Luna,但如果需要可以降级。

2 个答案:

答案 0 :(得分:1)

我从https://github.com/winghc/hadoop2x-eclipse-plugin/tree/master/release下载了hadoop-eclipse-plugin-2.6.0.jar(在编写本文时是最新的)并将jar文件粘贴到Eclipse的plugin文件夹中。它给了我“Map / Reduce”向导,我得到了“Run on Hadoop”选项!我正在使用Eclipse Luna   您可以使用“Hadoop”向导来定义HDFS服务器。

答案 1 :(得分:0)

如果你只需要从eclipse运行map-reduce作业,那么你需要

  1. 在eclipse中创建一个Java项目
  2. 在项目参考库中添加hadoop jar文件
  3. 可以从eclipse编译和执行Mapreduce程序。

    注意:默认情况下,eclipse会将本地文件系统视为输入和输出文件。