如何检查Kafka正在使用多少磁盘空间

Question

在我的一个Kafka主题中同步了2百万条消息后，我的磁盘空间已用完。我甚至删除了这个主题但仍然以某种方式消耗了空间。任何链接的帮助将不胜感激。

Answer 1

使用以下命令了解每个主题消耗的磁盘空间

du -sh /tmp/kafka-logs/*

Answer 2

确定发送指标的主题大小的另一种方法，例如graphite。然后可以找到如下大小： kafka.log.Log.<topic_name>-<partition_number>-Size.value

Answer 3

• 要从主题中删除邮件，您应首先将保留时间设置为例如1000毫秒。这将在1秒内清除所有消息。 （见答案：The correct config key is retention.ms）
• 删除主题
• 一般考虑所有主题的保留时间，默认为7天，当您以高频率操作时可能会有很多。

Answer 4

来自server.properties

#A逗号分隔的目录列表，用于存储日志文件

log.dirs = / TMP /卡夫卡-日志

du可以使用，但请务必检查 所有 日志目录。实际上，您想检查磁盘空间的任何常规unix命令都可以。

删除主题并不能保证删除。它将把它置于“待删除”状态。如果您仍有任何生产者/消费者附加到该主题，则不会将其删除。请尝试以下方法：

1. 确保所有具有主题副本的代理正在运行
2. 确保您允许删除主题 delete.topic.enable = true
3. 检查主题是否已删除 bin / kafka-topics.sh --list --zookeeper zookeeper_host：2181