如何使Kafka连接以从上次失败中提取消息

时间:2020-01-21 18:12:45

标签: apache-kafka apache-kafka-connect

我在独立模式下使用Elastic search Kafka connect。 我不困惑要使用哪种配置来启动Kafka连接并从上一个故障点接起。

例如,当Elastic Search接收器连接器正在使用时,生产者将继续将记录推入Kafka和Consumer中,现在由于某种原因我的消费者不满意,但我的骄傲者仍会继续将消息推入Kafka中。 现在,当我在ES接收器连接器端解决了我的问题后,如果重新启动ES接收器连接器,它应该从上次失败中而不是从开始或最新开始,而是从上次失败中进行选择。 如果自失败以来出现了10条消息,则当ES接收器连接器启动时,应该首先接收10条消息,然后再接收最新消息。

请帮助进行配置。

1 个答案:

答案 0 :(得分:0)

Kafka Connect与其他任何Kafka使用者一样。重新启动时,使用者将退回到上一个提交的偏移位置。这是默认行为,并且在Connect中没有设置可以更改它。