Kafka中的log.cleaner.delete.retention.ms和log.retention.ms有什么区别

Question

在文档中

import json
import dateutil.parse
import re
json_str = ....
clean_json = re.compile('ISODate\(("[^"]+")\)').sub('\\1', json_str)
json_obj = json.loads(clean_json)
# use dateutil.parser.parse(s) to parse each date into a datetime.datetime

我无法分辨它们之间的区别。

Answer 1

log.cleaner.delete.retention.ms适用于具有清理策略“紧凑” 的主题。这是为日志压缩主题保留删除逻辑删除标记的时间。
消息将包含密钥，并且有效载荷为空，称为逻辑删除消息。这些消息将在日志压缩期间删除。

log.retention.ms适用于具有清理策略“删除” 的主题。它控制删除日志文件之前保留日志文件的时间。

您可以在此处找到更多详细信息：http://kafka.apache.org/documentation/#configuration