在关闭之前允许多个hadoop / EMR任务失败

Question

我正在尝试在Amazon Elastic MapReduce上使用hadoop，我需要执行数千个地图任务。如果一小部分任务失败，我很好，但亚马逊关闭了工作，当第一个映射器出现故障时我丢失了所有结果。是否有可用于增加允许的失败作业数量的设置？感谢。

Answer 1

以下是hadoop的答案：

Is there any property to define failed mapper threshold

要在EMR中使用上述设置，请查看：

http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html#PredefinedbootstrapActions_ConfigureHadoop

具体来说，您使用要更改的设置创建xml文件（示例中为config.xml）并应用引导操作：

./ elastic-mapreduce --create \ --bootstrap-action s3：// elasticmapreduce / bootstrap-actions / configure-hadoop \ --args“-M，s3：//myawsbucket/config.xml”