从连接器访问偏移量存储

时间:2019-02-21 19:20:16

标签: java apache-kafka apache-kafka-connect

我有一个用Java编写的源连接器,运行时是分布式模式, offset.storage.topic = connect-offsets。提交任务时将填充该主题。从我的任务类(扩展了org.apache.kafka.connect.source.SourceTask)中,我可以使用context.offsetStorageReader()阅读此主题。

是否可以从连接器类中读取偏移量?

启动或重新启动连接器时,我希望能够使用此信息来决定如何将分区分配给任务。我通常有少量的“新”分区和大量的“旧”分区,我需要将所有新分区分配给同一任务,但“旧”分区可以分配给任何任务。知道分区是否存在条目可以让我弄清楚哪些任务是“新的”(偏移主题没有条目),哪些任务是“旧的”(偏移主题有条目)。

0 个答案:

没有答案