Question

我正在尝试找到一个可用于列出所有失败作业的命令。 “hadoop job -list”列出了所有工作。有没有办法按状态过滤列表？

Answer 1

在Hadoop中，无法在单个命令中获取失败作业的完整列表。 hadoop job -list仅列出尚未运行的作业。获得工作状态和报告的唯一方法是使用以下命令

bin/hadoop job -history <HDFS-OUTPUT-DIR-PATH>

将抛出包含失败状态的完整详细信息以及失败的任务。

JobName: mapsidejjoin
JobConf: hdfs://localhost:50000/tmp/hadoop-thanga/mapred/staging/thanga/.staging/job_201601251423_0001/job.xml
Submitted At: 25-Jan-2016 14:26:05
Launched At: 25-Jan-2016 14:26:05 (0sec)
Finished At: 25-Jan-2016 14:26:24 (19sec)
Status: SUCCESS

Task Summary
============================
Kind    Total   Successful  Failed  Killed  StartTime   FinishTime

Setup   1        1          0       0   25-Jan-2016 14:26:06    25-Jan-2016 14:26:08 (2sec)
Map     1        1          0       0   25-Jan-2016 14:26:08    25-Jan-2016 14:26:11 (2sec)
Reduce  1        1          0       0   25-Jan-2016 14:26:11    25-Jan-2016 14:26:21 (9sec)
Cleanup 1        1          0       0   25-Jan-2016 14:26:21    25-Jan-2016 14:26:24 (2sec)
============================

如何过滤所有失败的Hadoop作业？

1 个答案: