从kafka主题中删除的数据

Question

我昨天开始的主题没有任何数据。主题出现在list命令中，但所有数据均丢失。数据已生成并保存在主题中。但是，经过一段我不知道的时间，数据消失了。应该注意的是，我确实消耗了一次数据。

如何？ 我应该更改哪些设置？

Answer 1

如果您尝试使用相同的使用者组来进行使用者使用，而该组的偏移量尚未过期，那么您将无法获得任何回报。

如果您不属于同一消费群体，那么主题数据可能已过期并被删除？

您可以检查主题的开始和结束偏移量；例如

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test-orders --time -2
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test-orders --time -1

如果报告的开始和结束偏移量匹配，则该主题中没有数据。在这种情况下，您可以在主题或经纪人级别查看retention.ms。增大此配置的值将使记录保持更长的时间，但会占用更多的磁盘空间。