Kafka一直在报告“打开的文件太多”。我刚刚重新开始清理工作,但是大约10分钟后,我得到了
lsof | grep cp-kafka | wc -l:
454225
流程限制:
Limit Soft Limit Hard Limit Units
Max cpu time unlimited unlimited seconds
Max file size unlimited unlimited bytes
Max data size unlimited unlimited bytes
Max stack size 8388608 unlimited bytes
Max core file size 0 unlimited bytes
Max resident set unlimited unlimited bytes
Max processes 96186 96186 processes
Max open files 800000 800000 files
Max locked memory 16777216 16777216 bytes
Max address space unlimited unlimited bytes
Max file locks unlimited unlimited locks
Max pending signals 96186 96186 signals
Max msgqueue size 819200 819200 bytes
Max nice priority 0 0
Max realtime priority 0 0
Max realtime timeout unlimited unlimited us
我将保留时间设置为-1,因为我想保留过去的所有日志。在我的server.properties中,我有100mb的段文件,但是由于某种原因,Kafka记录了10mb的日志。奇怪的是,我“仅”在日志目录中的文件数量相对较少。
find | wc -l
5884
我不明白我在做什么错。
我在Ubuntu 18.04上安装了confluent-kafka deb软件包。
一个目录,我的消息对于timeindex来说太小了吗?
rw-r--r-- 1 2.2K Sep 30 10:03 00000000000000000000.index
rw-r--r-- 1 1.2M Sep 30 10:03 00000000000000000000.log
rw-r--r-- 1 3.3K Sep 30 10:03 00000000000000000000.timeindex
rw-r--r-- 1 560 Sep 30 10:03 00000000000000004308.index
rw-r--r-- 1 293K Sep 30 10:03 00000000000000004308.log
rw-r--r-- 1 10 Sep 30 10:03 00000000000000004308.snapshot
rw-r--r-- 1 840 Sep 30 10:03 00000000000000004308.timeindex
rw-r--r-- 1 10M Sep 30 10:03 00000000000000005502.index
rw-r--r-- 1 97K Sep 30 10:04 00000000000000005502.log
rw-r--r-- 1 10 Sep 30 10:03 00000000000000005502.snapshot
rw-r--r-- 1 10M Sep 30 10:03 00000000000000005502.timeindex
还在服务器配置中添加了以下几行;索引保持最大10Mb
log.segment.bytes=1073741824
log.segment.index.bytes=1073741824
顺便说一句,我过去发送带有时间戳的消息,日志保留了1000年。