标签： java hadoop mapreduce
我正在处理MapReduce作业，如果输入文件中的某些记录格式不正确，则需要中止处理（在mapper中）。要检查阈值，每次检测到记录时，计数器（org.apache.hadoop.mapreduce.Counter）将增加1.如果映射器在增加1后检测到已超过阈值，则会终止该作业。
但是我想在驱动程序中检测到故障是由于超过了阈值。由于作业被终止，因此驱动程序无法使用更新的计数器值，并且似乎无法从映射器传递消息或状态更新，从而将作业杀死到驱动程序。
有什么办法可以实现吗？