运行map reduce job时使用-libjars时出错

Question

我正在尝试使用hadoop jar命令运行map reduce作业。 我试图使用-libjars选项包含外部库。 我当前正在运行的命令是 hadoop jar mapR.jar com.ms.hadoop.poc.CsvParser -libjars google-gson.jar Test1.txt输出 但我接受这个作为输出 用法：[输入] [输出] 任何人都可以帮助我。 我也在我的类路径中包含了exranran库。

Answer 1

您能列出main(String args[])方法的内容吗？您是否使用ToolRunner界面启动工作？解析-libjars参数是GenericOptionsParser的一个函数，它通过ToolRunner实用程序类为您调用：

public class Driver extends Configured implements Tool {
    public static void main(String args[]) {
        System.exit(ToolRunner.run(new Driver(), args)));
    }

    public int run(String args[]) {
        Job job = new Job(getConf());
        Configuration conf = job.getConfiguration();

        // other job configuration

        return job.waitForCompletion(true) ? 0 : 1;
    }
}