当管道中的分支抛出异常时会发生什么

Question

例如，假设我的管道从Kafka消耗并且有两个分支。第一个分支写入一些数据存储，第二个分支产生一个看到的事件计数，两者都属于同一个窗口。如果在向数据存储区发出api请求时会抛出异常会发生什么，但第二个从未发生异常？即数据流是否会停止从Kafka中撤出并等到第一个分支恢复或者是否继续缓冲数据，因为第二个分支正好好吗？

Answer 1

重试例外情况。

• 如果这是一个批处理管道，它将被重试多次;如果它没有成功，整个管道将失败。

• 如果这是一个流式传输管道，它将重试，直到成功为止。管道的其余部分将继续处理数据。如果异常继续发生，您需要修复代码并更新管道。