我想创建多个使用者并从多个分区读取数据。如果要创建多个分区,可以使用以下命令行来创建:
python pykafka/cli/kafka_tools.py --broker_version 0.10.1 create_topic --num_partitions 3
但是如何创建多个消费者?这是如下还是其他方法?
consumer = KafkaConsumer('my-topic', bootstrap_servers='localhost:9092')
consumer2 = KafkaConsumer('my-topic', bootstrap_servers='localhost:9092')
但这看起来并不整洁。而且,如果我有多个分区(相同编号),那么如何将分区中的所有数据合并到单个记录。
我遵循了这个question
但是它对我来说是四处寻找,如果我必须流API怎么实现它。你能给我一个演示程序吗?