及时从filebeat发送多个日志到logstash

时间:2019-07-22 18:40:33

标签: elasticsearch logstash filebeat

我有一台服务器,其中所有日志都位于目录中。 现在,这些文件按日期分隔。我该如何设置filebeat,以便将这些文件中的所有日志文件发送到另一台服务器上的kibana(以及如何配置),以便以相同的及时方式在单个文件中接收日志。

例如: 在服务器A中:最近40天的日志中有40个日志文件

我希望这40条日志在其他服务器的单个文件中从最早到最新及时地显示。

具有今天日期的文件也将使用新日志进行更新。

我已经配置了filebeat和logstash,以便保持同步,但是由于某些逻辑,我在处理它时遇到了问题,因此日志没有及时处理。

全局模式


1 个答案:

答案 0 :(得分:0)

如果您要问如何使用filebeat和logstash按时间排序的顺序将一组日志文件远程同步到单个文件,那么...

如果将Harvester_limit设置为1,以便一次只处理一个文件,那么我认为您可以使用scan.order和scan.sort来获取文件拍子,以正确的顺序发送数据。 logstash更加成问题。在当前版本中,您可以禁用Java执行引擎(logstash.yml中为“ pipeline.java_execution:false”),并设置为“ --pipeline.workers 1”,在这种情况下,logstash将保留顺序。

在将来的版本中,我不希望弹性维护两个执行引擎,因此,一旦ruby执行引擎退休,就无法防止事件在管道中重新排序(java引擎通常会重新排序事件中的事件)。管道以可重现但不可预防的方式)。