我正在运行logstash 1.4.1
和ES 1.1.1
。 Logstash正在从中央服务器读取日志文件(这里有多个服务器日志usomg rsyslog),因此每天都会创建像2014-11-17
这样的目录并创建文件。
我遇到的问题是我第一次运行logstash时给出了
引起:java.net.SocketException: Too many open files
然后我在/etc/security/limits.conf
中将nofile限制更改为 64000 ,并且运行正常。
现在,我的问题是,每天创建新文件时,我的文件编号将继续增加,而logstash将保留所有打开文件的处理。
当文件数量太大而无法处理时,其他人如何处理日志流?
我应该把它设置为无限制吗?
答案 0 :(得分:-1)
如果您从服务器归档文件,logstash将停止观看它们并释放文件句柄。
如果您不删除或移动它们,可能有一个只匹配新文件的文件模式?有时当前文件是" foo.log"在被轮换到" foo.2014-11-17.log"。
之前Logstash Forwarder(比完整Logstash更轻量级的托运人)有一个" Dead Time"的概念,如果文件处于非活动状态,它将停止观看文件(默认为24小时)