在Eclipse中运行Map Reduce Program

Question

我有一个Map / Reduce程序，它加载一个文件并将其读入hbase。如何通过Eclipse执行我的程序？我用Google搜索并找到了两种方法：

1) Using Eclipse Hadoop plugin
2) Create a jar file and execute it in Hadoop server

但是，我可以通过提供连接细节并在eclipse中运行来执行我的Map / Reduce程序吗？任何人都可以告诉我运行Hbase Map / Reduce程序的确切程序吗？

Answer 1

我做了以下事情：

• 在我的机器上安装并配置了hadoop（和hdfs）
• 使用我的hadoop作业的所有类构建了一个maven-ized java项目
• 其中一个课程是我的＆＃34; MR＆＃34;或者＆＃34;工作＆＃34;具有配置和提交我的hadoop作业的静态主方法的类
• 我在Eclipse中运行MR类作为java应用程序

作业在hadoop中使用java项目的类路径中的库运行（因此不会显示在作业跟踪器中）。对HDFS文件的任何引用都使用您安装的HDFS文件系统，并使用非日食hadoop安装进行格式化。

这适用于Eclipse中的调试器，尽管JUnit测试很难手工构建。