在Mapper或Reducer中处理异常的Hadoop最佳实践是什么?

时间:2016-03-30 08:59:17

标签: hadoop mapreduce

想要了解处理Mapper / Reducer中的异常的最佳做法。

选项1:没有任何try / catch并让任务失败,MR将重试最终终止作业的任务。属性 mapreduce.map/reduce.maxattempts 在此处扮演角色。

选项2:使用计数器记录catch块中的失败次数。并且基于这些错误的某些阈值,要么取消作业,要么只使用计数器来显示失败记录的数量。

在map-reduce中处理异常的任何(其他)常见/标准做法?

1 个答案:

答案 0 :(得分:2)

列出的选项1和2是我们在项目中处理的一些方法。请看here。它列出了更多选项