Kafka经纪人管理 - 日志清理政策

时间:2017-06-08 10:15:04

标签: apache-kafka messagebroker

我可以看到Kafka JIRA中出现了相关错误。在摘要中,代理无法安排日志清理,因为相关的日志文件既不能压缩也不能重命名以进行删除。但它看起来并没有得到解决。我想知道是否有其他人遇到过这个问题,以及任何解决方法(如果存在)?

在群集完全(并且正常)关闭之前,似乎永远不会关闭日志文件。有人可以建议一个解决方法吗?

我的群集信息

1)3名经纪人和3名动物园管理员 2)同一台笔记本电脑上的标准开发设置 3)所有日志文件都在公共/tmp目录下,但是在不同的子目录中构建

/temp/zookeeper
/temp/zookeeper2
/temp/zookeeper3
/temp/kafka-logs
/temp/kafka-logs2
/temp/kafka-logs3

我的代理配置(每个serverX.properties文件正确替换代理ID和日志文件位置)

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
listeners=PLAINTEXT://localhost:9092
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SSL:SSL
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=999999999

log.dirs=/tmp/kafka-logs

num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=2
log.retention.bytes=262144000
log.segment.bytes=262144000
log.roll.hours=1    
log.retention.check.interval.ms=300000
offsets.retention.minutes=60
offsets.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183
# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=30000
# Compression details
compression.type=gzip
# delete topic enable
delete.topic.enable=true

KR,

0 个答案:

没有答案