卡夫卡在哪里存储内部主题的偏移量？

Question

__ consumer_offsets存储所有kafka主题的偏移量，但内部主题（例如* -changelog主题）除外（在流情况下）。这些数据存储在哪里？

Answer 1

“内部主题”一词在卡夫卡语中有两种不同的含义：

1. 经纪人：内部主题是集群使用的主题（例如__consumer_offsets）。客户端无法从该主题读/写该主题。
2. Kafka Streams：Kafka Streams自动创建的主题也称为内部主题。

但是，从Kafka Streams角度来看，属于内部主题的-changelog和-repartition主题是从经纪人角度来看的常规主题。因此，与其他任何主题一样，两者的偏移量都存储在__consumer_offsets中。

请注意，尽管如此，Kafka Streams仅会提交-repartition个主题的偏移量。对于-changelog主题，不会提交任何偏移量（Kafka Streams会在客户端进行一些偏移量跟踪，并将-changelog偏移量写入本地.checkpoint文件中。）