在mapreduce工作中恢复黑名单的任务工具

Question

我有5个节点的hadoop集群。我已经为每个节点配置了10个映射器。当MR作业正在运行时，其中一个hdfs节点死亡。这最终会导致该任务跟踪器被列入黑名单。在黑名单之后和MR作业完成之前，如果我修复了受影响的hdfs节点，是否可以从黑名单中恢复任务跟踪器？

我在ubuntu上使用cloudera cdh 4.2。

Answer 1

我正在阅读＆＃34; Hadoop权威指南＆＃34;关于tasktracker失败。我发现了这个陈述

＆＃34; 黑名单任务分配器未分配任务，但他们继续与jobtracker进行通信。故障随着时间的推移而过期（以每天一个的速度），因此任务工作者只需继续运行就有机会再次运行工作。或者，如果存在可以修复的潜在故障（例如，通过更换硬件），则任务跟踪器将在重新启动并重新加入群集后从jobtracker的黑名单中删除。＆＃34;

Answer 2

我不确定Cloudera 4.2，但您可以尝试命令

$ hadoop job -unblacklist <jobid> <hostname>

如果要将其从全局黑名单中删除，请尝试

hadoop job -unblacklist-tracker <hostname>

这两个命令都必须以管理员用户身份运行。