在没有Hadoop Eclipse插件的情况下工作

Question

我只是有一点怀疑。我正在使用Hadoop并映射reduce。我使用yahoo-vm机器制作了map-reduce应用程序，它也附带了eclipse插件。但是当我自己尝试在我的计算机上单独安装hadoop时，即使经过多次尝试，我也无法在eclipse和HDFS之间建立链接。我想知道构建这些应用程序需要eclipse吗？因为我发现它在向HDFS提交输入和从HDFS接收输出时很有用。甚至可以通过map redcue的fs api实现自动化。

Answer 1

MapReduce程序就像任何其他Java程序一样，它们可以在记事本，vi或任何最喜欢的编辑器中开发。像NetBeans和Eclipse这样的IDE使Java程序的开发更容易。

Here是关于在Eclipse中开发/调试Hadoop MapReduce程序而不使用Hadoop插件的博客文章。在Eclipse中开发/调试程序后，必须创建一个jar文件，然后使用hadoop jar .....命令将其提交给Hadoop集群。

Answer 2

你当然不需要eclipse或任何插件来开发在Hadoop上运行的MapReduce作业。您可以启动Hadoop deamons，将输入数据复制到群集上，然后从控制台提交MR作业。各种插件只会帮助您创建，执行和调试MR作业。

在最小设置中，Eclipse（或任何其他IDE）可用于编写代码并将最终项目导出到JAR。您只需要在项目的类路径中引用hadoop jar。