如何将主题的所有记录存储在单个文件中？

Question

如何将kafka主题的所有信息与所有记录详细信息存储在文件中。

a）我可以在单个文件中获得KafkaTopic的所有记录吗？

b）关于kafka的主题详细信息在哪里？

Answer 1

a）您可以尝试将所有主题消息提取到文件中

kafka-console-consumer --bootstrap-server localhost:9092 --topic <TOPIC> --from-beginning > singlefile.txt

您还可以添加--property print.key=true以包含消息密钥

您可以使用文件输出将数据生成到kafka中。

b） 您可以使用此命令获取主题分区，配置和同步状态

kafka-topics --describe --zookeeper localhost:2181 --topic <TOPIC>

您可以使用此命令获取主题设置

kafka-configs --zookeeper localhost:2181 --describe --entity-type topics --entity-name <TOPIC>

您可以在每个命令上使用添加并将其导出到文件系统。

> simplefile.txt