如果驱动程序崩溃，请杀死MapReduce作业

Question

我有一个驱动程序，它在Hadoop 2.4.0上使用org.apache.hadoop.mapreduce.Job.waitForCompletion（boolean）启动MapReduce作业。我遇到的问题是如果驱动程序在作业中间崩溃，作业将继续运行。如果驱动程序崩溃，有没有办法杀死启动的MapReduce作业？驱动程序是否崩溃不是我无法控制的。我猜测它需要客户和工作定期互相轮询。 API中是否有设置或方法？

Answer 1

您可以在yarn webUI中找到您列出的applicationId（jobId），也可以在群集的yarn resource manager节点中键入yarn application -list。您可以使用kill命令作为：yarn application -kill <applicationId>来终止该applicationId。我想这会解决你的问题。