异常情况下的结构化流回滚文件

时间:2018-07-12 06:45:32

标签: apache-spark apache-kafka spark-structured-streaming

在我的结构化流应用程序中,我正在从MQ读取数据并进行一些转换并将结果写入kafka。我已经实现了MQ定制源。

我的问题是在转换期间或在将消息写入Kafka时发生异常的情况下,如何将消息回滚到MQ。

我正在批量读取消息,例如每批读取5000条消息,但是在写入结果时,如果kafka下降了,我们可以用什么方法回滚消息?

使用自定义源(任何非分布式源,如MQ)时,有没有什么方法可以回滚或恢复消息。

0 个答案:

没有答案