我使用 kafka 0.9.0 将pykafka作为scrapy中的url队列,我使用的主题有30个分区,有4个消费者。
它起初工作正常,但是当它工作了几个小时后,kafka似乎在重新平衡分区时遇到了问题,我得到了一些信息,如
无法获得分区< pykafka.partition.Partition at 0x7f0b422cbfd0(id = 23)>。重试
比提出两个例外
pykafka.exceptions.ConsumerStoppedException
pykafka.exceptions.PartitionOwnedError
所以我想知道kafka分区的分配。我使用 kafka-consumer-groups.sh 之类的
./ kafka-consumer-groups.sh --zookeeper host:port --group name --describe
提到了kafka的文件,但我有一个空列表。