有没有办法跳过一个失败的地图作业而不是杀死整个工作?我有成千上万的地图工作都运行正常,总是这个烦人的上一个地图工作需要永远,并最终杀死了大工作。
有没有办法设置一般设置,例如“忽略失败”或可忽略的地图百分比?
我不是在寻找100%数据的完美结果,95%的良好估计就足够了。
答案 0 :(得分:3)
你可以使用mapred.max.map.failures.percent(新版本2.1.0中的mapreduce.map.failures.maxpercent)和mapred.max.reduce.failures.percent属性来控制你的工作失败
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/DeprecatedProperties.html