我试图复制blog中给出的步骤。尝试时,给出了Kafka Consumer
和Kafka Producer
的python代码,我可以在python交互式终端中运行该代码,并可以使消费者控制台提供输出,但是如果我将它们传递到python文件中,{ {1}},它什么也不消耗。
消费者
(*.py)
制作人
from kafka import KafkaConsumer
consumer = KafkaConsumer('sample')
for message in consumer:
print (message)
如何使其在python文件中工作?
答案 0 :(得分:2)
我刚刚将producer.flush()添加到生产者代码中,它开始起作用。
因为Kafka客户端不批量发送消息,而不是立即发送消息,以减少代理的负载。
您最初发送的数据不足,无法单独进行刷新,因此您的数据仅在应用程序结束时才驻留在内存中。
引用batch.size
生产者属性