是否有可能在kafka主题中看到数据分区?

时间:2018-03-29 11:02:47

标签: apache-kafka kafka-consumer-api kafka-producer-api

我几天前就开始和卡夫卡合作了。我在Windows环境中使用Kafka,我想查看Kafka主题的每个分区中的数据。

我有一个名为ExampleTopic的主题,其中replication.factor设置为3个和3个分区。我能够看到主题中的数据,但我想看看哪些消息在哪些分区中。

如果有,那么请告诉我是否可能?

3 个答案:

答案 0 :(得分:1)

我有一个基于GUI的工具来查看名为kafka tool的主题的每个分区中的数据。 http://www.kafkatool.com 它是管理我们的kafka集群的工具。还应提供许多功能。

答案 1 :(得分:0)

使用kafkacat,例如:

$ kafkacat -b localhost:9092 -t my_topic -C \
-f '\nKey (%K bytes): %k\t\nValue (%S bytes): %s\n\
Timestamp: %T\tPartition: %p\tOffset: %o\n--\n'

Key (1 bytes): 1
Value (79 bytes): {"uid":1,"name":"Cliff","locale":"en_US","address_city":"St Louis","elite":"P"}
Timestamp: 1520618381093        Partition: 0    Offset: 0

答案 2 :(得分:0)

您可以使用Kafka控制台使用者的--partition参数指定要使用的分区: bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic ExampleTopic --partition 0 您还可以指定--offset参数,该参数指示从哪个偏移开始。如果不存在,则消耗从分区结束开始。