Question

我正在尝试使用org.apache.hadoop.mapred.jobcontrol.*库而不是经典库来链接两个作业，但是当我使用Hadoop执行我的.jar文件时，它永远不会结束，即使它产生了正确的输出我预期

我想使用这个库，并知道如何在第二个作业完成后停止执行。就像我使用job.waitForCompletion(true)一样，如果我只用一个作业执行.jar就好了。

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapred.*;
import org.apache.hadoop.mapred.jobcontrol.Job;
import org.apache.hadoop.mapred.jobcontrol.JobControl;

public class Interest {
    public static void main(String[] args) throws Exception {

        JobConf conf1 = new JobConf(Interest.class);
        conf1.setJobName("Interest");
        conf1.setMapperClass(InterestMapperA.class);
        conf1.setReducerClass(InterestReducerA.class);
        conf1.setMapOutputKeyClass(Text.class);
        conf1.setMapOutputValueClass(IntWritable.class);
        conf1.setOutputKeyClass(Text.class);
        conf1.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(conf1, new Path(args[0]));
        FileOutputFormat.setOutputPath(conf1, new Path("temp"));

        JobConf conf2 = new JobConf(Interest.class);
        conf2.setJobName("Interest");
        conf2.setMapperClass(InterestMapperB.class);
        conf2.setReducerClass(InterestReducerB.class);
        conf2.setMapOutputKeyClass(IntWritable.class);
        conf2.setMapOutputValueClass(Text.class);
        conf2.setOutputKeyClass(Text.class);
        conf2.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(conf2, new Path("temp"));
        FileOutputFormat.setOutputPath(conf2, new Path(args[1]));

        Job job1 = new Job(conf1);
        Job job2 = new Job(conf2);
        JobControl jbcntrl = new JobControl("jbcntrl");
        jbcntrl.addJob(job1);
        jbcntrl.addJob(job2);
        job2.addDependingJob(job1);
        jbcntrl.run();        
    }
}

Answer 1

＆＃39; ave用旧图书馆解决了这个问题，实际上是管理工作依赖性的最新资产。

MapReduce链式作业永无止境

1 个答案: