Mapred任务超时

Question

我编写了一个Map only作业，经过一些处理后，数据从一个HBase表写入另一个HBase表。但是在我的setup mapper方法中，我正在从一个文件中加载数据，这比我的mapred.task.timeout配置需要更多的时间。

我阅读了here给出的解释。我的问题是，

1）在设置阶段中，任务和任务跟踪器之间是否会进行通信？

2）如何更新 状态字符串 ??

Answer 1

只要有进展，工作就不会超时

进度报告很重要，因为Hadoop不会让正在取得进展的任务失败。以下所有操作都构成了进展：

• •读取输入记录（在mapper或reducer中）
• •编写输出记录（在映射器或缩减器中）
• •在报告者上设置状态描述（使用Reporter's setStatus（）方法）
• •递增计数器（使用Reporter的incrCounter（）方法）
• •调用Reporter的进度（）方法

所以，如果你继续按照标称间隔做任何一件事，那就不会被杀死。