卡夫卡的平行生产与消费

Question

1。同时在同一主题和同一分区上进行消费

假设我有一个给定主题的100个分区（例如Purchases），我可以轻松地并行使用这100个分区（例如Electronics，Clothing等...）使用包含100个消费者的消费者群体。

但是，这是将一个消费者分配给Purchases上的总数据的每个子集。如果我只想同时使用100个消费者的一个数据子集，该怎么办？例如，对于我的所有消费者，他们只想知道Electronics主题的Purchases分区。

他们是否可以同时使用此分区？

一般情况下，我只希望所有消费者同时收到相同的数据集。

根据我收集的信息，在我看来，消费者不能使用复制品消费：Consuming from a replica

我可以为多个主题生成相同的数据，例如Purchase-1[Electronics]和Purchase-2[Electronics]，那么我可以同时使用它们吗？这是推荐的方法吗？

2。同时生成相同的主题和相同的分区

当多个生产者正在生成相同的主题和相同的分区时，因为我们只能写入分区前导，而副本仅用于容错，这是否意味着没有任何并发​​？ （即每次提交必须排队等候。）

Answer 1

1. 如果这100个消费者属于不同的消费者群体，他们可以同时使用相同的主题和分区。在这种情况下，您需要确保每个消费者都能够处理来自100个分区的负载。
2. 生产者可以同时生成相同的主题分区，但写入分区的实际消息顺序由分区负责人决定。