使用mapreduce中的错误文件杀死映射器

Question

您好我需要杀死包含错误文件的映射器。 当在mapper中解析文件时，如果文件包含错误，它应该终止当前映射器并丢弃该文件。其他具有正确文件的映射器应该继续，整个工作应该成功。

Answer 1

根据文件输入格式，映射器可能会或可能不会处理整个文件。 通常，每个映射器都会在时间处理一个Split。

如果有任何解析问题，您可以简单地跳过处理记录并从mapper返回。无需杀死映射器。如果您杀死该映射器，MapReduce作业将失败。

所以，只需跳过处理并从mapper返回。