我正在尝试读取文件并通过logstash解析它并将我的输出写入另一个文件中;
input_file -> logstash -> output_file
我的解析器运行良好,我已经测试了一个大约1000行的txt文件的示例文件。
问题是,一旦我用真实文件(200MB到1GB)开始真正的测试,没有任何反应。我没有输出,既没有stdout也没有txt文件。
我提出的最后一件事是输入文件的文件大小!
你能告诉我一些有关可能性的想法吗?或者如何更改输入文件的最大文件大小?PS:我在Windows上进行测试。
编辑:它适用于Logstash 5.5.1!但是V2.4.0有什么问题?
Thansk很多
答案 0 :(得分:0)
Logstash是一个拖尾工具,它基本上通过维护文件中最后一个读指针的syncdb来工作。所以它不是为解析大文件而设计的。
我可以提供一些指向调试但不确定它们是否可行 - 尝试使用-v(详细)选项来检查调试日志是否存在任何错误消息。 Logstash就像JVM尝试增加其内存大小并检查它是否有效。
最后我会说如果后一个版本正在运行然后使用它,许多错误在升级中得到修复。 希望它有所帮助!