使用pykafka

Question

我正在使用pykafka python库api使用以下代码创建一个kafka主题。

from pykafka import KafkaClient
client = KafkaClient(hosts="127.0.0.1:9092")
topic = client.topics[topic_name]
producer = topic.get_producer(sync=True)
producer.produce('message'))

这里创建的主题默认只有一个分区。如何使用pykafka为主题分配多个分区，如

topic.number_of_partitons=3？

Answer 1

您注意到pykafka对主题自动创建的支持。当访问通过client.topics dict不存在的主题时，将使用代理配置中定义的默认设置自动创建主题。

Pykafka还支持CLI与Kafka 0.10.1中的主题创建和删除API集成。有关如何使用它的信息，请参阅source code。这是一个例子：

python pykafka/cli/kafka_tools.py --broker_version 0.10.1 create_topic --num_partitions 3 --rpelication_factor 2 cli_testtopic