我有一个6节点集群在3台机器上运行kafka代理,一个主题有18个分区。 我在六个节点中的三个节点上启动了logstash进程,其中一个共同的消费者组订阅了这个主题。
但是当我描述消费者群体时:
/bin/kafka-consumer-groups.sh --bootstrap-server : --group --describe
它显示了所有18个分区的相同logstash所有者。我不应该看到分区划分为我在2个节点上运行的3个logstash进程。 Rightnow看起来只有一个logstash消费者在工作。
另外来自 zkCli.sh ls / consumer不显示
重启ZK和kafka并没有帮助。
这是我的logstash输入部分:
input {
kafka {
bootstrap_servers => "ip-...internal:6667,ip-.internal:6667"
group_id => "my-group"
topics => ["input"]
consumer_threads => 2
}
}