您好我需要在映射器中抛出异常并将该错误打印到HDFS中的文件吗?
我不希望整个工作失败。具有错误文件的映射器应该抛出异常,并且应该将错误写入HDFS中的文件。
我该如何实现?
答案 0 :(得分:0)
如果您在映射器中捕获异常,我认为应该没有问题。在catch代码中,您可以创建文件HDFS。有关向HDFS写入数据的更多信息,请参阅本文讨论FileSystem
类:link to storing files inside MRjob
以下是java中异常处理的链接:Catching exception and continue processing