Question

从0.8.1.1版本开始，Kafka提供了在Kafka中存储偏移的规定，而不是Zookeeper（见this）。我无法弄清楚如何检查消耗的偏移量的细节，因为当前工具仅提供对zookeeper的消费者偏移计数检查。（我指的是this）

如果有任何工具可以检查消费者抵消，请告诉我。

Answer 1

我正在使用kafka 0.8.2以及存储在kafka中的偏移量。这个工具对我很有用：

./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker 
        --topic your-topic 
        --group your-consumer-group
        --zookeeper localhost:2181

您将获得所需的所有信息：主题大小，消费者滞后，所有者。

Answer 2

我使用的是Kafka 2.1，我使用的kafka-consumer-groups命令提供了有用的详细信息，例如当前偏移量，对数末尾偏移量，滞后等。最简单的命令语法是

kafka-consumer-groups.sh            \
--bootstrap-server localhost:29092  \
--describe --group <consumer group name>

示例输出如下：

TOPIC       PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG  CONSUMER-ID            HOST      CLIENT-ID
your.topic  1          17721650        17721673        23   consumer-159-beb9050b  /1.2.3.4  consumer-159
your.topic  3          17718700        17718719        19   consumer-159-beb9050b  /1.2.3.4  consumer-159
your.topic  0          17721700        17721717        17   consumer-159-beb9050b  /1.2.3.4  consumer-159

HTH

Answer 3

以下直接命令提供了足够的详细信息：

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-second-application

您将获得类似的详细信息

TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                     HOST            CLIENT-ID
first_topic     0          4               4               0               consumer-1-7cb31cf3-1621-4635-8f95-6ae85215b31b /10.200.237.53  consumer-1
first_topic     1          3               3               0               consumer-1-7cb31cf3-1621-4635-8f95-6ae85215b31b /10.200.237.53  consumer-1
first_topic     2          3               3               0               consumer-1-7cb31cf3-1621-4635-8f95-6ae85215b31b /10.200.237.53  consumer-1
first-topic     0          4               4               0               -                                               -               -

如何在偏移商店为Kafka时检查消费者抵消？

3 个答案: