在CDH4中使用eclipse的mapreduce程序

时间:2013-08-07 07:41:20

标签: eclipse mapreduce

我是Java,eclipse和Hadoop的新手,所以请原谅我的错误,如果我的问题看起来太傻了。

问题是:

我在云平台上有3个RHEL5节点CDH4集群。 CDH4设置已经完成,现在我想编写一些示例mapreduce程序来了解它。 以下是我对如何做到的理解: 要编写Java mapreduce程序,我必须在我的 服务器中安装Eclipse,对吧?我应该选择哪个版本的日食。 只是安装eclipse是不够的,我将不得不做一些设置更改,以便它可以使用我的CDH集群,这需要做什么? 最后但并非最不重要的,你们可以建议一些网站,我可以得到更多关于相同的信息,记住我只是所有这些初学者.. :)

提前致谢... 的Pankaj

1 个答案:

答案 0 :(得分:0)

Pankaj,您随时可以访问official page。除此之外,您可能会发现这些链接很有用:

主服务器上没有Eclipse(主服务器=主机???)。任何最后3个版本的eclipse都可以完美地运行。不知道早期版本。您可以直接通过Eclipse运行工作,也可以在Eclipse中编写工作并将其导出为jar。然后,您可以将此jar复制到JT机器,并使用 hadoop / jar 命令通过shell执行它。如果您直接通过eclipse运行工作,您需要通过以下属性告诉它NameNode和JobTracker机器的位置:

Configuration conf = new Configuration();
conf.set("fs.default.name", "hdfs://NN_HOST:9000");
conf.set("mapred.job.tracker", "JT_HOST:9001");

(根据您的配置更改主机名和端口)。

虽然有一个快速的建议。在发布问题之前,您始终可以搜索这些类型的内容。网上有很多信息,非常容易访问。

HTH