是否有可能让Kafka Consumer Group的所有客户读取相同的数据？

Question

我需要阅读包含3个分区的kafka主题的最新消息。 我需要从5个不同的客户端读取相同的数据，首先我尝试使用Simple Consumer，但它不能使用多个分区。 目的是让Group消费者处理分区，并为所有客户端提供相同的消息。

Answer 1

您可以为每个客户使用不同的使用者群组名称。

每个Kafka消费者都是消费者群体的一部分。它的工作方式是每个消费者群体都使用所有消息。但它只会被该组中的一个消费者消费。您可以阅读this了解更多详情

Answer 2

您应该为不同的客户使用不同的消费者群组名称。

考虑一下：你有一个包含3个分区的主题。客户端1在组1中具有正在运行的消费者（或多个消费者），并从所有分区获取消息。客户端2在第2组中有消费者，依此类推..

通过这种方式，您可能在第1组中有2个消费者使用客户端1的消息，而第2组中有3个消费者使用客户端2的消息或您可能想到的任何其他配置。