标签: apache-spark apache-kafka spark-structured-streaming
在我的结构化流应用程序中,我正在从MQ读取数据并进行一些转换并将结果写入kafka。我已经实现了MQ定制源。
kafka
我的问题是在转换期间或在将消息写入Kafka时发生异常的情况下,如何将消息回滚到MQ。
我正在批量读取消息,例如每批读取5000条消息,但是在写入结果时,如果kafka下降了,我们可以用什么方法回滚消息?
使用自定义源(任何非分布式源,如MQ)时,有没有什么方法可以回滚或恢复消息。