用于编写和运行hadoop作业的IDE？

Question

我最近开始学习Java中Hadoop map-reduce编程的基础知识。到目前为止，我发现的唯一方法是使用vi或emacs将代码写入文件中，这看起来很糟糕，原始且非常痛苦。

是否有用于编写，编译和运行Hadoop程序的IDE？

Answer 1

使用Eclipse。 Cloudera有一个很棒的截屏视频here，用于配置eclipse for hadoop开发。 使用eclipse在本地调试hadoop作业也很酷（虽然不是很简单）。要了解更多信息，请参阅here。

Answer 2

您还应该查看IntelliJ IDEA，因为Apache Hadoop wiki页面有关于如何使用它设置开发环境的说明。

参考文献：

http://www.jetbrains.com/idea/

http://wiki.apache.org/hadoop/HadoopUnderIDEA

Answer 3

Here是一个用于在Eclipse / Linux上调试/开发Hadoop作业的博客。另外，请检查Karmasphere Studio。

Answer 4

是的，可以在Eclipse中运行MapReduce作业。在集群和Eclipse中运行MapReduce程序有很多不同。 贝娄是值得注意的几点：

• 在Eclipse中，它以一种称为LocalJobRunner模式的特殊模式运行，即所有Hadoop守护进程都在单个JVM中运行。
• 在Eclipse中，所有路径都是指本地文件路径，而不是HDFS路径。