可用的库是sarama(或其扩展sarama-cluster)但是没有提供消费者群组示例,不在sarama或sarama-cluster中。
我不懂API。我是否可以为主题创建一个消费者组?
答案 0 :(得分:2)
无需使用 sarama-cluster 库。 apache kafka集成已弃用。 Sarama
原始库本身提供了一种使用使用者组连接到kafka集群的方法。
我们需要先创建客户,然后初始化消费者组,然后在其中创建声明并等待消息通道接收消息。
初始化客户端:-
kfversion, err := sarama.ParseKafkaVersion(kafkaVersion) // kafkaVersion is the version of kafka server like 0.11.0.2
if err != nil {
log.Println(err)
}
config := sarama.NewConfig()
config.Version = kfversion
config.Consumer.Return.Errors = true
// Start with a client
client, err := sarama.NewClient([]string{brokerAddr}, config)
if err != nil {
log.Println(err)
}
defer func() { _ = client.Close() }()
与消费者组的连接:-
// Start a new consumer group
group, err := sarama.NewConsumerGroupFromClient(consumer_group, client)
if err != nil {
log.Println(err)
}
defer func() { _ = group.Close() }()
开始使用主题分区中的消息:-
// Iterate over consumer sessions.
ctx := context.Background()
for {
topics := []string{topicName}
handler := &Message{}
err := group.Consume(ctx, topics, handler)
if err != nil {
log.Println(err)
}
}
最后一部分是等待消息通道消耗消息。我们需要实现所有功能(三个)以实现ConsumerGroupHandler
接口。
func (exampleConsumerGroupHandler) Setup(_ ConsumerGroupSession) error { return nil }
func (exampleConsumerGroupHandler) Cleanup(_ ConsumerGroupSession) error { return nil }
func (h exampleConsumerGroupHandler) ConsumeClaim(sess ConsumerGroupSession, claim ConsumerGroupClaim) error {
for msg := range claim.Messages() {
fmt.Printf("Message topic:%q partition:%d offset:%d\n", msg.Topic, msg.Partition, msg.Offset)
sess.MarkMessage(msg, "")
}
return nil
}
有关使用golang检查sarama库的kafka的详细信息。
答案 1 :(得分:1)
使用者组由集群使用者“构造函数”的第二个参数指定。这是一个非常基本的草图:
import (
"github.com/Shopify/sarama"
"github.com/bsm/sarama-cluster"
)
conf := cluster.NewConfig()
// add config values
brokers := []string{"kafka-1:9092", "kafka-2:9092"}
group := "Your-Consumer-Group"
topics := []{"topicName"}
consumer := cluster.NewConsumer(broker, group, topics, conf)
因此,您将拥有属于指定消费者群体的消费者。