Question

我创建了一个简单的MapReduce驱动程序来实现Tool接口。但是当我尝试在Eclipse中运行该作业时，在调用NoClassDefFoundError方法之前，我得到run()。

我正在Hadoop 0.20.2上运行Ubuntu 10.04 LTS。下面提供了源代码和堆栈跟踪。任何帮助将不胜感激。

源码

import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.*;

public class MyTestDriver extends Configured implements Tool {


@Override
public int run(String[] args) throws Exception {

    if (args.length != 2) {
        System.err.printf("Usage: %s [generic options] <input> <output>\n",
            getClass().getSimpleName());
        ToolRunner.printGenericCommandUsage(System.err);
        return -1;
    }

    // Code here to submit Hadoop Job ...   
    return 0;
}

/**
 * @param args
 */
public static void main(String[] args) throws Exception {
    int exitCode = ToolRunner.run(new MyTestDriver(), args);
    System.exit(exitCode);
}

}

堆栈跟踪

线程“main”中的异常java.lang.NoClassDefFoundError： org / apache / commons / cli / ParseException at org.apache.hadoop.util.ToolRunner.run（ToolRunner.java:59）at org.apache.hadoop.util.ToolRunner.run（ToolRunner.java:79）at MaxTemperatureDriver.main（MaxTemperatureDriver.java:44）引起：抛出java.lang.ClassNotFoundException： org.apache.commons.cli.ParseException at java.net.URLClassLoader $ 1.run（URLClassLoader.java:202）at java.security.AccessController.doPrivileged（Native Method）at java.net.URLClassLoader.findClass（URLClassLoader.java:190）at java.lang.ClassLoader.loadClass（ClassLoader.java:307）at sun.misc.Launcher $ AppClassLoader.loadClass（Launcher.java:301）at at java.lang.ClassLoader.loadClass（ClassLoader.java:248）... 3更多

Answer 1

您的Eclipse构建路径中是否存在Hadoop的所有依赖项？确保hadoop / lib目录中的所有jar都在构建路径中。

Answer 2

错误意味着找不到特定的类。类存储在.jar文件中。因此，您需要检查是否所有必需的jar文件都可用。根据{{3}}变量搜索Jar文件。如果您使用Eclipse作为开发环境，请检查是否满足构建依赖性（您可以通过 - 右键单击项目 - >配置构建路径 - >添加外部jar来执行此操作。

另外，如果您不确定缺少哪个类，可以检查类名（Hadoop是开源的，这样您就可以找到类名），然后在CLASSPATH中搜索类名

Hadoop ToolRunner因NoClassDefFoundError而失败

源码

堆栈跟踪

2 个答案: