我有一些经纪人,负责处理一些应用程序的数据。我有所有启用cleanup.policy
作为删除功能的代理的日志清理器。几周前出现了一个问题,日志清理器停止在其中一个代理中工作,这导致磁盘使用完全耗尽,并且无法检测到。
我正在寻找一种有效的方法来检查经纪人的日志清理器是否已停止工作。
首先,我正在使用 Kafka 1.0.2版本。
作为一种简单的方法,我尝试查看日志清理器的日志,当日志在相当长的时间内无法更新时,意味着日志清理器停止工作。
但是某些经纪人的日志清理器的日志由于某种原因而没有更新,尽管该日志清理器正在运行(这是因为在相当长的时间后,应用程序日志的大小并未保持增长) )。
我曾尝试使用一些配置log.cleaner.min.cleanable.ratio
,log.retention.check.interval.ms
等,以了解为什么日志清理器的日志没有得到更新,但我无法得出任何结论。 关于如何检查日志清理程序是否正在运行或为什么日志清理程序的日志无法记录的任何想法?
TLDR;
由于Kafka经纪人的日志清理程序停止并且无法及时检测到它,因此遇到了一些麻烦。寻找一种有效的方法来检查日志清理器的终止。