Logstash文件限制?

时间:2014-11-17 07:03:00

标签: linux elasticsearch logstash

我正在运行logstash 1.4.1ES 1.1.1。 Logstash正在从中央服务器读取日志文件(这里有多个服务器日志usomg rsyslog),因此每天都会创建像2014-11-17这样的目录并创建文件。

我遇到的问题是我第一次运行logstash时给出了

引起:java.net.SocketException: Too many open files

然后我在/etc/security/limits.conf中将nofile限制更改为 64000 ,并且运行正常。

现在,我的问题是,每天创建新文件时,我的文件编号将继续增加,而logstash将保留所有打开文件的处理。

当文件数量太大而无法处理时,其他人如何处理日志流?

我应该把它设置为无限制吗?

1 个答案:

答案 0 :(得分:-1)

如果您从服务器归档文件,logstash将停止观看它们并释放文件句柄。

如果您不删除或移动它们,可能有一个只匹配新文件的文件模式?有时当前文件是" foo.log"在被轮换到" foo.2014-11-17.log"。

之前

Logstash Forwarder(比完整Logstash更轻量级的托运人)有一个" Dead Time"的概念,如果文件处于非活动状态,它将停止观看文件(默认为24小时)