Kafka多个Logstash集成问题

时间:2017-12-08 22:26:08

标签: apache-kafka logstash apache-zookeeper

我有一个6节点集群在3台机器上运行kafka代理,一个主题有18个分区。 我在六个节点中的三个节点上启动了logstash进程,其中一个共同的消费者组订阅了这个主题。

但是当我描述消费者群体时:

/bin/kafka-consumer-groups.sh --bootstrap-server : --group --describe

它显示了所有18个分区的相同logstash所有者。我不应该看到分区划分为我在2个节点上运行的3个logstash进程。 Rightnow看起来只有一个logstash消费者在工作。

另外来自     zkCli.sh ls / consumer不显示

重启ZK和kafka并没有帮助。

这是我的logstash输入部分:

input {
  kafka {
    bootstrap_servers => "ip-...internal:6667,ip-.internal:6667"
    group_id => "my-group"
    topics => ["input"]
    consumer_threads => 2
  }
}

0 个答案:

没有答案