apache-kafka - Kafka：检查是否已捕获2个主题

时间：2018-07-12 19:47:57

标签： apache-kafka kafka-consumer-api kafka-producer-api

我在kafka中有2个主题，我正在双重写作。它们的偏移量从不同的提交点开始。我的消费者开始从第二个主题开始消费，但是最终会赶上第一个主题。我如何最佳地找出他们是否都被追上了？

我打算查看两个主题消耗的先前消息的固定窗口，并检查消耗的消息是否本质上相似。关于如何找到相似的任何想法？

关于我如何确定它们已经被追上的其他想法？

此外，我的主题有多个分区。检查应包括是否已捕获所有分区。

答案 0 :(得分：0)

从命令行或使用使用者api可以计算使用者延迟。如果两个使用者的滞后时间都不大，那么您可以放心地认为这两个主题都已被接受。

另外，请帮助我理解为什么您需要针对两个主题写相同的消息。您可以有一个主题的多个使用者

答案 1 :(得分：0)

您可以使用此处提供的方法自己计算延迟：

kafka.admin.ConsumerGroupCommand