我正在使用 Flink 进行一些测试，以与其他一些流媒体平台进行比较。测试的数据源是一个kafka主题，具有不同的流量，我试图弄清楚flink是否能跟上。
有没有办法知道反压多少＆＃39; flink正在加入卡夫卡消费者？ IE它跟上了步伐吗？
答案 0 :(得分：3)
Apache Kafka项目提供了一些工具，可以从Zookeeper中获取主题和消费者信息。
在这种情况下，您可以使用ConsumerOffsetChecker。
该工具将输出的是＆＃34;偏移延迟＆＃34;，即分区中最新偏移量与当前消费者位置之间的差异。
请注意，Flink大致以检查点间隔的频率更新Zookeeper中的偏移量，因此您看到的信息不是100％准确，因为它不考虑飞行记录。 但它会让你很好地了解背压是否正在积聚，或者是否一切顺利。
顺便说一下，如果您遇到Flink无法在生成主题时使用主题中的数据，请向邮件列表上的Flink开发人员寻求帮助。在我最近做的一些实验中，我发现Flink的Kafka Consumer可以读取非常高的吞吐量。
答案 1 :(得分：1)
在kafka_2.11-0.10.0.0中，不推荐使用消费者偏移检查器，kafka-consumer-groups根据组进行偏移检查。
就我而言，就flinkkafkaconsumer而言，我没有看到任何与kafka-consumer-groups一起列出的群组。
如果是flink-kafka-consumer group.id 对偏移监控没有多大帮助。您可以在flink kafka consumer groupId not working
找到有关此内容的更多信息