Hadoop运行时错误

Question

我有学校项目与hadoop一起工作，并将在亚马逊EMR中托管。

首先，我试图通过简单的wordcount程序来理解它在eclipse IDE中运行良好。

但如果我试图从命令行运行，我就会遇到错误。

线程“main”中的异常java.lang.NoClassDefFoundError：org / apache / hadoop / conf / Configuration at counter.WordCount.main（WordCount.java:56） 引起：java.lang.ClassNotFoundException：org.apache.hadoop.conf.Configuration 在java.net.URLClassLoader $ 1.run（URLClassLoader.java:202） at java.security.AccessController.doPrivileged（Native Method）。

您是否对此错误以及任何理解hadoop和EMR的资源有任何建议？

谢谢， 妙

Answer 1

不要从IDE或使用java命令运行您的作业。而是在hadoop安装的bin /目录中使用hadoop脚本。

示例：如果您的Job的起点位于mrjob.MyJob类中并且您有一个包含Job类的jar（job.jar），则应该像这样运行它：

path/to/bin/hadoop jar job.jar mrjob.MyJob inputFolder outputFolder