标签: java hadoop mapreduce
当我检测到无效的文件名时,我需要取消地图任务。
在我的Mapper的setup()方法中,我有代码验证inputSplit的文件名。如果文件名与预期模式不匹配(如果提交的作业错误inputPaths可能会发生),我想跳过此地图任务。
setup()
inputSplit
inputPaths
我不想抛出异常并让Hadoop重试该任务。我也不想将mapreduce.reduce.maxattempts设置为低于默认值。
mapreduce.reduce.maxattempts