卡夫卡滞后在Flink 1.3.3消费者身上震荡

时间:2019-08-10 12:02:03

标签: apache-kafka apache-flink kafka-consumer-api flink-streaming

我们正在阅读一个Kafka主题(例如topic1),该主题每秒接收大约300条记录。它是恒定的。本主题有“ 20”个分区。我正在运行20位消费者。使用者基于Flink(1.3.3)。

问题是滞后振荡一段时间,它是100k,在接下来的10分钟内,它增加到200万。偏移补偿可能未正确进行。

此外,当我尝试使用此命令获取滞后计数时 ./kafka-consumer-groups.sh --bootstrap-server kafka.bootstrap.server:9092 -group kafka_consumer_group_topic1 --describe,Kafka返回:

Consumer group 'kafka_consumer_group_topic1' has no active members.

但是我有实际的消费者在运行。

有人在Flink 1.3.3中注意到此问题吗?

0 个答案:

没有答案