Kafka分区是什么样的？

Question

我是Kafka的新手，正在尝试了解分区。网上的一般解释没有帮助，所以我想建立一个简单的例子来理解。

让我们说：

• 2个主题
  • 带有2个分区的颜色
  • 具有2个分区的数字
• 1个经纪人
• 不复制

在这种情况下，下图的数据看起来如何？在这里，数据被轮流输入到分区中，两个分区都从两个主题中获取了一些数据。如果这是正确的，那么消费者如何获得每个下一个价值？他们需要在一个分区之间移动，但是他们可以从另一个主题中找到数据。

（以下图表不正确！）

更新：基于评论，我认为这更准确：

Answer 1

主题分为多个分区，每个分区仅包含一个单个主题的数据。

摘自《卡夫卡：权威指南》：

  

主题另外细分为多个分区

因此，您的图表应显示两个主题，每个主题都有一个分区。

很显然，来自多个主题的数据最终会在磁盘上混合（ （很好的解释here）。

Answer 2

请查看this detailed explanation.，其中有一些非常好的图表，显示了从动物园管理员到经纪人结构的整个体系结构。

有关日志压缩和其他低级设计内容，请进行these。

Answer 3

希望这些图像有助于您理解。有时图像胜于文字。