如何避免Hadoop中的Map / Reduce任务失败

时间:2017-05-07 04:17:16

标签: hadoop mapreduce

我有一个包含太多迭代的循环和一个在Reducer函数中计算量很大的函数。

while (context.getCounter(SOLUTION_FLAG.SOLUTION_FOUND).getValue() < 1 && itrCnt < MAX_ITR)

MAX_ITR是迭代计数 - 用户输入

问题是当我在Hadoop集群上运行时出现超时错误并且Reducer任务被终止

17/05/06 21:09:43 INFO mapreduce.Job: Task Id : attempt_1494129392154_0001_r_000000_0, Status : FAILED
AttemptID:attempt_1494129392154_0001_r_000000_0 Timed out after 600 secs

我应该怎么做才能避免超时? (我的猜测是心跳信号。)

0 个答案:

没有答案