有没有办法从Mapper代码中停止/取消/杀死Hadoop映射任务?

时间:2015-02-25 13:19:00

标签: java hadoop mapreduce

当我检测到无效的文件名时,我需要取消地图任务。

在我的Mapper的setup()方法中,我有代码验证inputSplit的文件名。如果文件名与预期模式不匹配(如果提交的作业错误inputPaths可能会发生),我想跳过此地图任务。

我不想抛出异常并让Hadoop重试该任务。我也不想将mapreduce.reduce.maxattempts设置为低于默认值。

0 个答案:

没有答案