如何知道kafka分区的分配

时间:2017-04-24 08:45:29

标签: python-3.x scrapy apache-kafka pykafka

我使用 kafka 0.9.0 将pykafka作为scrapy中的url队列,我使用的主题有30个分区,有4个消费者。

它起初工作正常,但是当它工作了几个小时后,kafka似乎在重新平衡分区时遇到了问题,我得到了一些信息,如

  

无法获得分区< pykafka.partition.Partition at 0x7f0b422cbfd0(id = 23)>。重试

比提出两个例外

  

pykafka.exceptions.ConsumerStoppedException

     

pykafka.exceptions.PartitionOwnedError

所以我想知道kafka分区的分配。我使用 kafka-consumer-groups.sh 之类的

./ kafka-consumer-groups.sh --zookeeper host:port --group name --describe

提到了kafka的文件,但我有一个空列表。

0 个答案:

没有答案