如何创建多个使用者并在python中从相同主题的相同数量的分区中读取数据?

时间:2019-07-17 07:17:54

标签: python apache-kafka kafka-consumer-api

我想创建多个使用者并从多个分区读取数据。如果要创建多个分区,可以使用以下命令行来创建:

python pykafka/cli/kafka_tools.py --broker_version 0.10.1 create_topic --num_partitions 3

但是如何创建多个消费者?这是如下还是其他方法?

consumer = KafkaConsumer('my-topic', bootstrap_servers='localhost:9092')
consumer2 = KafkaConsumer('my-topic', bootstrap_servers='localhost:9092')

但这看起来并不整洁。而且,如果我有多个分区(相同编号),那么如何将分区中的所有数据合并到单个记录。

我遵循了这个question

但是它对我来说是四处寻找,如果我必须流API怎么实现它。你能给我一个演示程序吗?

0 个答案:

没有答案