logstash在处理文件方面有多远

Question

我正在使用类似的东西运行logstash：

input {
  file {
    path => ["/home/logdata/*.log"]
    codec => json {
        charset => "UTF-8"
        }
  }
}
output {
  elasticsearch {
        protocol => "http"
        host => "whatever"
        cluster => "recordings"
        index => "logstash-%{+YYYYMMdd}"
  }
}

其中一些文件的大小为GB。我怎么知道logstash在这个过程中的位置？有进度指标吗？我可以说出剩下多少行？

除此之外，我还想弄清楚何时删除原始日志文件，因此了解logstash何时完成将非常有用。

Answer 1

Logstash使用sincedb文件来跟踪每个输入文件的当前读取位置。 Understanding sincedb files from Logstash file input描述了这些文件的格式，每个sincedb文件的名称是根据文件名模式设计的（具体来说，是以逗号分隔的模式列表的MD5哈希值;请参阅file.rb）。我怀疑Logstash 2.0可能会改善这种情况，因为roadmap讨论了监控改进。

有关如何持续跟踪Logstash进度的示例，请参阅Logstash parsing progress bar。