为什么卡夫卡消费者会冻结？

Question

在我计算主题

中的消息后，我的Kafka消费者冻结了

from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers='127.0.0.1:9092')
for _ in range(100):
    producer.send('foobar', b'some_message_bytes')
from kafka import KafkaConsumer
consumer = KafkaConsumer('foobar')
for msg in consumer:
    print (1)

它不会打印任何东西。

我可以成功打印出我们的主题

consumer.topics()
{u'clickstream', u'foobar', u'wiki'}

Answer 1

默认情况下，kafka python（和大多数kafka客户端）从最后一个偏移开始，即只会读取新的消息。 在你的情况下，要么首先启动消费者，要么是生产者，要么从头开始阅读

consumer = KafkaConsumer('foobar', auto_offset_reset ='earliest')