Kafka Connect:Kafka Connect如何读取最新的偏移量?

时间:2018-08-14 17:11:15

标签: java apache-kafka apache-kafka-connect

据我了解,KafkaConnect会从上次写入的文件名中读取最新的偏移量。
如果文件已从目录中移出,它将如何跟踪读取的最后一个偏移量?

1 个答案:

答案 0 :(得分:0)

这取决于哪个连接器

接收器的独立模式(可以)存储偏移文件。但是,在分布式模式下,将读取connect-offsets主题。

但是,Connect仍然维护使用者组ID,因此,如果文件消失了,协议仍然能够从上次提交的偏移量恢复。