Kafka数据丢失（当LAG超过20,000时）

Question

将数据放入Producer-Kafka-Logiste-Elastic Search时。 这时，如果Kafka累积了20,000多个数据（如果消费者无法使用），那么一下子就会被读取。 换句话说，如果LAG超过20000，则等于CURRENT-OFFSETdl LOG-END-OFFSET。

我不知道为什么。 我以前没有经历过。 你知道怎么了吗？

Answer 1

您可能要检查Kafka群集的邮件保留配置。 请参阅this答案或this文档。在Kafka文档中搜索“ log.retention”。