我有一个用Java编写的源连接器,运行时是分布式模式,
offset.storage.topic = connect-offsets
。提交任务时将填充该主题。从我的任务类(扩展了org.apache.kafka.connect.source.SourceTask)中,我可以使用context.offsetStorageReader()
阅读此主题。
是否可以从连接器类中读取偏移量?
启动或重新启动连接器时,我希望能够使用此信息来决定如何将分区分配给任务。我通常有少量的“新”分区和大量的“旧”分区,我需要将所有新分区分配给同一任务,但“旧”分区可以分配给任何任务。知道分区是否存在条目可以让我弄清楚哪些任务是“新的”(偏移主题没有条目),哪些任务是“旧的”(偏移主题有条目)。