我是kafka的新手,我尝试使用python消耗kafka的数据,这需要10分钟来处理来自kafka使用者队列的一条消息。我发现相同的消息被循环并一次又一次地收到。谁能帮我解决这个问题。
consumer = KafkaConsumer(topic_name,
bootstrap_servers=['localhost'],auto_offset_reset='earliest',enable_auto_commit=True,group_id="tangoit",max_poll_records=1,session_timeout_ms=700000,request_timeout_ms=800000,heartbeat_interval_ms=233334)
count =1
while True:
msg_pack = consumer.poll(max_records=1)
for tp, messages in msg_pack.items():
for message in messages:
time.sleep(600) // instead of sleep message processing will happend and it take 10 min to process that message