如何整合eclipse和hadoop 2.6

时间:2016-03-10 08:46:07

标签: java eclipse hadoop

我已经在我的ubuntu 14.04中安装了hadoop 2.6,但是当我想用Java API在hadop中运行代码时,我应该导出一个jar文件并用终端运行它。有没有办法用hadoop配置eclipse并直接在eclipse中运行hadoop的java代码?

1 个答案:

答案 0 :(得分:1)

将Hadoop-2.6.0与eclipse集成

  1. 创建用户“hdfs”,其中所有Hadoop进程都在运行。
  2. Hadoop已安装到目录“/ opt / hadoop”。
  3. Eclipse安装在目录“/ opt / eclipse”。
  4. 步骤1:下载hadoop-eclipse-plugin 2.6.0 jar

    步骤2:在eclipse文件夹的plugins目录中复制eclipse的Map-Reduce插件 - sudo cp /home/hdfs/Downloads/hadoop-eclipse-plugin-2.6.0.jar /opt/eclipse/plugins/使用命令重新启动eclipse - /opt/eclipse/eclipse -vm /usr/local/jdk1.8.0_05/bin/java -vmargs -Xmx1024m如果没有因为X11转发问题,在切换到“hdfs”时尝试使用“sux”而不是“su”。

    第3步:开始日食$ECLIPSE_HOME/eclipse

    步骤4:在Eclipse菜单中单击,Window - >开放视角 - >其他 - > MapReduce的

    步骤5:在底部的MapReduce图标中,单击以添加新的Hadoop位置

    第6步:输入MapReduce& HDFS运行端口对于调用,$HADOOP_HOME/conf/mapred-site.xml中指定的MapReduce端口(9001)用于调用,$HADOOP_HOME/conf/core-site.xml中指定的HDFS端口(9000)输入Hadoop用户名

    步骤7:添加Hadoop位置后,将在Eclipse Project Explorer窗口中显示/显示DFS位置(Windows - > Show View - > Project Explorer)

    步骤8:添加Hadoop后,将在Project Explorer窗口中显示/显示DFS位置,

    步骤9:右键单击DFS位置,然后单击“连接”

    步骤10:成功连接后,将显示所有DFS文件夹。

    步骤11:您可以创建目录,将文件上传到HDFS位置,右键单击任何列出的目录,将文件下载到本地。