使用logstash（ELK）轮询日志

Question

关于轮询/存储日志文件，我处于两难境地 情况是我们需要从Cloudhub监控我们的日志，使用Logstash聚合它们并存储它们（可能使用ElasticSearch）。

Anypoint Runtime Manager似乎只支持在内部部署（而非来自云端）时将事件推送到第三方系统，因此我决定通过logstash http-poller插件通过REST api进行轮询日志演示。

我正在处理一些我没有多少经验的决定 轮询时，您将始终在特定时间间隔内检索最后x个日志。我假设这些参数将取决于日志的类型，但我仍然想知道你将处理重复检索日志的级别。以及如何处理错过日志的不确定性。

这是您在存储级别处理的内容，还是您在logstash中立即处理的内容？
感谢您分享您对此主题的看法。

Answer 1

我不能说我在这个问题上有很多经验，但这就是我的想法。

我认为如果Logstash作为服务运行，它将更多地依赖于API的输出来处理重复项。

同时，如果您在响应中定义了唯一标识符，则可以告诉Logstash避免重复。

来自Change ID in elasticsearch

elasticsearch { 
    host => yourEsHost
    cluster => "yourCluster"
    index => "logstash-%{+YYYY.MM.dd}"
    document_id => "%{someFieldOfMyEvent}"
}