我有这个代码来创建消费者平衡 在pykafka:
consumer = topic.get_balanced_consumer(consumer_group='Testing',auto_commit_enable=True,zookeeper_connect='amsmgmt002:2181,nas5:2181,amsdblx006:2181')
如何管理消费者的状况 整个过程?
感谢
答案 0 :(得分:0)
您可以拥有尽可能多的使用主题的BalancedConsumer实例,因为该主题具有分区。如果它们都连接到同一个zookeeper实例,它们将与它通信以自动平衡它们之间的分区。 BalancedConsumer使用的分区分配策略是"范围"策略默认。该策略可通过membership_protocol关键字参数切换,可以是pykafka.membershipprotocol公开的对象,也可以是pykafka.membershipprotocol.GroupMembershipProtocol的自定义实例。