kafka connect跳过获取分区

Question

我有一个独立的融合服务器，可以正常工作，直到突然弯成弓形以消耗记录为止。

我在connect上启用了跟踪，这是调试输出。

DEBUG Added READ_UNCOMMITTED fetch request for partition connect-offsets-10 at offset 0 to node 10.1.*.*:9092 (id: 1001 rack: null) (org.apache.kafka.clients.consumer.internals.Fetcher:787)

我做了一些研究，发现它可能与KIP-62有关。

我尝试使用这些值重新配置服务器比例，但结果相同。

group.initial.rebalance.delay.ms=0
session.timeout.ms=10000
heartbeat.interval.ms=3000

现在，连接服务处于死锁状态，无法使用记录。

Answer 1

请将max.poll.records设置为最小值，这将解决您的问题。

如果批处理中的轮询数据花费的时间超过会话超时，则将触发重新平衡，并重复读取同一组数据。