Question

我想使用以下库从主题__consumer_offsets中读取：https://github.com/segmentio/kafka-go

我的问题是，除非指定分区，否则似乎什么也不会发生。默认情况下，此主题有100个分区，查询kafka以获得分区列表，然后循环遍历以读取它们似乎是不合理的，我希望该库中已有一个可从所有分区读取消息的方法在主题中。

目前，在我使用kafkacat验证__consumer_offsets主题的分区15中有消息之后，以下工作正常：

我想除非需要，分区选择在用户级别上应该是透明的。我错了吗？

是否有一种方法可以从主题中读取信息，而不管消息所处的分区是什么？还是改写一下，从所有分区读取？

Answer 1

使用使用者组API，无需分配分区。

https://github.com/segmentio/kafka-go#consumer-groups

// GroupID holds the optional consumer group id.  If GroupID is specified, then
// Partition should NOT be specified e.g. 0
GroupID string


// Partition to read messages from.  Either Partition or GroupID may
// be assigned, but not both
Partition int

https://godoc.org/github.com/segmentio/kafka-go#ReaderConfig

用kafka读取__consumer_offsets

1 个答案: