卡夫卡会话超时问题

时间:2019-07-01 04:36:49

标签: apache-kafka kafka-consumer-api

我是kafka的新手,我尝试使用python消耗kafka的数据,这需要10分钟来处理来自kafka使用者队列的一条消息。我发现相同的消息被循环并一次又一次地收到。谁能帮我解决这个问题。

consumer = KafkaConsumer(topic_name,
                         bootstrap_servers=['localhost'],auto_offset_reset='earliest',enable_auto_commit=True,group_id="tangoit",max_poll_records=1,session_timeout_ms=700000,request_timeout_ms=800000,heartbeat_interval_ms=233334)                      
count =1
while True:
    msg_pack = consumer.poll(max_records=1)
    for tp, messages in msg_pack.items():
        for message in messages:
            time.sleep(600) // instead of sleep message processing will happend and it take 10 min to process that message

0 个答案:

没有答案