PyKafka偏移提交

时间:2016-03-28 16:28:27

标签: python python-2.7 kafka-python

我使用以下脚本从Kafka主题中读取消息。我能够阅读消息。但是,偏移量不会提交。有关如何强制提交偏移量的任何建议,或者目前可能阻止提交的任何内容? (注意:这基本上取自文档,你可以看到它与他们平衡的消费者例子非常相似。)

我使用的是Python 2.7.8,pykafka 2.1.1和kafka 0.8.2.1。

谢谢。

from pykafka import KafkaClient

client = KafkaClient(hosts='myHost:9092')
topic = client.topics['myTopic']

balanced_consumer = topic.get_balanced_consumer(
    reset_offset_on_start=False,
    consumer_group='myTestConsumerGroup',
    auto_commit_enable=True,
    auto_commit_interval_ms=1000,
    zookeeper_connect='myZookeeperHost')

for message in balanced_consumer:
    if message is not None:
        print(str(message.offset) + '\t' + message.value)
    balanced_consumer.commit_offset()

0 个答案:

没有答案