卡夫卡在哪里将元数据存储在zookeeper上？ （哪条路径？）

Question

我们有带有3个zookeeper服务器和3个kafka机器的ambari集群

hadoop版本（HDP-2.6.4）

kafka在哪里将元数据存储在zookeeper上？ （哪条路径？）

我不确定，但是也许数据存储在这里？

 ls -ltr /data/var/hadoop/zookeeper/version-2
total 5859168
-rw-r--r-- 1 zookeeper hadoop 199306787 Jan 27 00:02 snapshot.4a00023317
-rw-r--r-- 1 zookeeper hadoop 199274273 Jan 27 00:03 snapshot.4a0002332b
-rw-r--r-- 1 zookeeper hadoop 199278370 Jan 27 00:05 snapshot.4a00023349
-rw-r--r-- 1 zookeeper hadoop 193934228 Jan 29 00:01 snapshot.4a0002ade3
-rw-r--r-- 1 zookeeper hadoop 193934228 Jan 29 00:03 snapshot.4a0002adf6
-rw-r--r-- 1 zookeeper hadoop 188207547 Jan 31 00:00 snapshot.4a00033393
-rw-r--r-- 1 zookeeper hadoop  67108880 Feb 17 15:08 log.4b0001e57a
-rw-r--r-- 1 zookeeper hadoop 189085214 Feb 17 15:08 snapshot.4b00046dc8
-rw-r--r-- 1 zookeeper hadoop  67108880 Feb 19 20:56 log.4b00046dca
-rw-r--r-- 1 zookeeper hadoop 190336796 Feb 19 20:56 snapshot.4b0005659b
-rw-r--r-- 1 zookeeper hadoop  67108880 Feb 22 01:30 log.4b0005659d
-rw-r--r-- 1 zookeeper hadoop 190348010 Feb 22 01:30 snapshot.4b000643

Answer 1

这取决于哪个元数据！

默认情况下，Kafka在Zookeeper中使用许多路径：

• /brokers：其中包含有效的代理以及主题配置，分配和当前ISR
• /controller：此ZNode归Kafka集群中的当前控制器所有
• /admin：其中包含删除主题的请求

• /config：其中包含代理，配额的替代配置

• 然后列表继续...

Wiki上有一个有关ZK数据结构的页面，但它已经过时，缺少很多条目：https://cwiki.apache.org/confluence/display/KAFKA/Kafka+data+structures+in+Zookeeper

另一件事值得注意的是，默认情况下，Kafka将在/下创建所有这些路径，但是您可以使Kafka在zookeeper.connect中使用“ chroot”。例如，如果将其设置为localhost:2181/some_path，则所有路径都将位于/some_path下：/some_path/brokers，/some_path/controller等

最后，Zookeeper将所有这些数据保存到磁盘上的log文件中。该路径由dataDir中的zookeeper.properties设置指定。对于Kafka，默认情况下为/tmp/zookeeper。