Kafka日志文件夹太大了

Question

我们的kafka日志文件夹中有大量数据（来自14个月）。卡夫卡默认写这些。

Location of server.xml: /install/kafka_2.10-0.8.2.2/config/server.xml

 Here is the setting in server.xml:   log.dirs=/install/kafka-logs

1. 我想删除去年的日志。这会导致任何问题吗？我需要吗？ 停止kafka还是可以在运行时禁用去年的日志？

2. 如何禁用/减少记录到此文件夹？

Answer 1

不确定术语是否会让您感到困惑 - 此文件夹的内容不是日志文件，因为在那里记录了“Kafka Broker started”等日志。它包含传入消息的日志文件，因此该文件夹包含有价值的Kafka数据。

您应该在主题上设置适当的保留时间（以及代理级别的合理默认值），以便在不再需要时清除消息（默认为7天）。消息将至少保留该时间段，并且可以在此之后的任何时间删除（由于日志文件的结构，它不是严格的时间戳）。

对于1：您可以在运行时更改主题级别的保留时间 bin/kafka-topics.sh --zookeeper <zk> --alter --topic <topic> --config retention.ms=<retention in ms>

2：减少这种情况的唯一方法是：a）发送更少的消息或b）减少主题的复制因子。这可能不是你的追求。