需要在hdfs中使用错误值存储映射器错误

时间:2013-11-14 07:43:55

标签: mapreduce

您好我需要在映射器中抛出异常并将该错误打印到HDFS中的文件吗?

我不希望整个工作失败。具有错误文件的映射器应该抛出异常,并且应该将错误写入HDFS中的文件。

我该如何实现?

1 个答案:

答案 0 :(得分:0)

如果您在映射器中捕获异常,我认为应该没有问题。在catch代码中,您可以创建文件HDFS。有关向HDFS写入数据的更多信息,请参阅本文讨论FileSystem类:link to storing files inside MRjob

以下是java中异常处理的链接:Catching exception and continue processing