如何在不了解消费者组信息的情况下获取Kafka主题的分区信息和偏移量

时间:2019-02-23 07:41:00

标签: apache-kafka kafka-consumer-api apache-kafka-connect hadoop-streaming kafka-topic

我完全是Kafka国中的蹲地 如果我运行命令

/cfintools/confluent-4.0.0/bin/kafka-avro-console-consumer --topic $t  --bootstrap-server  $bt  --consumer.config /cfintools/avro_consumer_ssl_cfin_prod.properties --property schema.registry.url=$regd --from-beginning

这东西要永远归还。没有错误,但也没有数据。
我想要的只是该主题中的最新10条消息,我读到了partitionoffsets的信息。现在我不知道我应该怎么去获得这个信息 我在其他地方了解了此命令

./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group count_errors --describe

但是我不知道我的消费群体。我只知道第一个命令中提到的topic名称和其他参数 因此,使用此ltd信息,如何在主题中仅搜索特定的分区和偏移量或以其他任何方式获取最后10条奇怪的消息

我尝试使用kt工具

$  ./kt topic -brokers $bk -filter $t -partitions -leaders -replicas
failed to create client err=kafka: client has run out of available brokers to talk to (Is your cluster reachable?)

我知道经纪人有效,因为我在使用经纪人

我最想要的是:

  • 以最直接的方式获取partition和偏移量,而无需任何其他信息,例如消费者组
  • 任何其他自动搜索最后10个messages的方法-分区,偏移和获取
  • 任何可防止我发疯的基于GUI的工具

0 个答案:

没有答案