检查条件后如何终止mapreduce作业?

时间:2017-03-01 16:57:58

标签: hadoop mapreduce

我已找到this solution。但是,正如答案所说这样做是不安全的,有没有更安全的方法来使用新的MapReduce库(org.apache.hadoop.mapreduce)

1 个答案:

答案 0 :(得分:0)

因为我愿意终止在循环中运行的MapReduce作业;所以,我通过使用如下计数器解决了这个问题,

public static enum SOLUTION_FLAG{
    SOLUTION_FOUND;
}

我从这个网站获得了帮助,

How to use the counters in Hadoop?

从一个标志的值开始,我决定如果我可以跳过任务,当一个作业结束时,在每个循环结束时我检查了这个标志的值。

如果我正确的话,请告诉我。