Question

我使用以下代码来阅读主题中的消息。如何在阅读后删除邮件？

from kafka import KafkaConsumer


    consumer = KafkaConsumer('my-topic',
                             group_id='my-group',
                             bootstrap_servers=['localhost:9092'])
    for message in consumer:
        # message value and key are raw bytes -- decode if necessary!
        # e.g., for unicode: `message.value.decode('utf-8')`
        print ("%s:%d:%d: key=%s value=%s" % (message.topic, message.partition,
                                              message.offset, message.key,
                                              message.value))

Answer 1

无法从kafka中删除特定消息 - kafka根本就不是为此而设计的。删除邮件的唯一方法是将kafka的log.retention.hours中的config/server.properties设置为您喜欢的值。默认值为168 - 表示168小时后不会保留消息。

如果您正在寻找一种方法来读取特定偏移量的消息 - 即每次都不从头开始阅读，请查看此处http://kafka-python.readthedocs.org/en/master/apidoc/KafkaConsumer.html
commit() - 将读取偏移提交给kafka
seek_to_end() - 快速转发仅消费新到达的消息
seek() - 移动到给定的偏移量（可能存储在kafka以外的其他地方）

如何在阅读后删除kafka消息

1 个答案: