使用Logstash解析百万条日志

时间:2014-09-10 06:51:27

标签: elasticsearch logstash

我希望能够解析一百万个JSON文件(静态而不是由任何进程写入)并使用ELK发送到elasticsearch。但是我遇到了一个错误:

failed to open /opt/data/input/20140622022503@18312f68.json: Permission denied - 

似乎logstash正在拖尾它打开的所有文件,因此无法打开。我希望能够解析这些文件并让logstash忘记它们。不需要"尾巴"他们。这可能吗?我在https://logstash.jira.com/browse/LOGSTASH-1929看到JIRA为此打开了。还有其他人遇到这个问题吗?这已经解决了还是一个悬而未决的问题?

1 个答案:

答案 0 :(得分:1)

您提供的错误使其看起来像用户logstash正在运行,因为它没有权限读取与您要查找的模式匹配的文件。或者,也许他们在写文件时没有访问权限(短暂的时间)。