使用Map Reduce代码处理失败记录的异常处理...需要帮助

Question

如何对失败的记录进行异常处理，并在以后使用map reduce代码重新处理失败的记录（必填）....感谢您的帮助，谢谢。

Answer 1

如果你在map函数中有异常处理，那么你可以为这些值添加一个指定的键（例如，如果你有字符串作为键，则为“ERROR PARSING”），并在你的reducer上将它们写在日志中以供将来调查。 / p>

Answer 2

如果数据中的某些内容不符合预期并导致处理失败，则只需将该记录标记为重新处理，将其写入日志，请参阅示例

 try{
        //Business logic goes here
        //write output of mapper if everything is as expected
    }catch(Ex e){
        //If something is not right control comes here, then dont break the execution flow
        //simply write the current record for re-validation for ex. re-processing.log something like this
    }

然后您可以稍后重新访问此文件。