＆＃34; java.io.IOException：INTERNAL＆＃34;异常导致管道失败

Question

我有一个批处理数据流作业，它在日志中有几个java.lang.RuntimeException: unexpected个实例。

深入挖掘，我看到有几个明显的例外：

• java.io.IOException: INTERNAL: Detected non-monotonic keys.
• java.io.IOException: INTERNAL: Corruption: block checksum
• java.io.IOException: INTERNAL: Corruption: bad entry in block
• java.io.IOException: DATA_LOSS: record checksum mismatch

我认为这可能只是一次性错误，但我不知道报告此类问题的首选位置，因此我会在此发帖以获取可见性。

作业ID为2017-01-26_13_26_59-15900546489513181319

Answer 1

这可能是糟糕的机器处理随机数据的结果，并指示该特定运行的作业无法恢复的故障。如果问题在多次运行中仍然存在，请参阅Google dataflow, DATA_LOSS Exception了解潜在的线程问题。