logstash 2.4.0可以读取最大文件大小

时间:2017-08-13 13:33:28

标签: logstash logstash-grok logstash-configuration logstash-file

我正在尝试读取文件并通过logstash解析它并将我的输出写入另一个文件中;

input_file -> logstash -> output_file

我的解析器运行良好,我已经测试了一个大约1000行的txt文件的示例文件。

问题是,一旦我用真实文件(200MB到1GB)开始真正的测试,没有任何反应。我没有输出,既没有stdout也没有txt文件。

我提出的最后一件事是输入文件的文件大小!

你能告诉我一些有关可能性的想法吗?或者如何更改输入文件的最大文件大小?

PS:我在Windows上进行测试。

编辑:它适用于Logstash 5.5.1!但是V2.4.0有什么问题?

Thansk很多

1 个答案:

答案 0 :(得分:0)

Logstash是一个拖尾工具,它基本上通过维护文件中最后一个读指针的syncdb来工作。所以它不是为解析大文件而设计的。

我可以提供一些指向调试但不确定它们是否可行 - 尝试使用-v(详细)选项来检查调试日志是否存在任何错误消息。 Logstash就像JVM尝试增加其内存大小并检查它是否有效。

最后我会说如果后一个版本正在运行然后使用它,许多错误在升级中得到修复。 希望它有所帮助!