Kafka源连接器获得过时的偏移值

Question

我有一个SourceTask，它有一个简单的轮询方法（完成得非常快）。我发现从context.offsetStorageReader得到的偏移值主要是陈旧的，这意味着不匹配前一个poll（）方法返回的偏移值。

同时，我可以从日志中观察到偏移值只会更新为＆＃34; fresh＆＃34;当＆＃34; commitOffsets成功＆＃34;发生。

我的问题是：这是故意设计的吗？我应该减少＆＃34; OFFSET_COMMIT_INTERVAL_MS_CONFIG＆＃34;确保偏移的提交速度比执行的SourceTask.poll（）方法更快？

Answer 1

org.apache.kafka.connect.runtime.OffsetStorageWriter类的注释表示＆＃34;只能在启动或重新配置任务期间读取偏移数据...＆＃34;而不是在每个任务中读取执行poll（）方法。