Question

logstash配置文件中可以使用包含项吗？

最小，完整和可验证的示例

我可以代替这个...

文件：beats.conf

input {
  beats {
    port => 5044
  }
}
filter {
    date {
        match => ["myTimestamp", "yyyyMMdd_HH:mm:ss.SSS"]
        target => "date_time"
    }
}
output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
  }
}

...与此？

文件：date.inc

date {
    match => ["myTimestamp", "yyyyMMdd_HH:mm:ss.SSS"]
    target => "date_time"
}

文件：beats.conf

input {
  beats {
    port => 5044
  }
}
filter {
    #include <date.inc>  // <- THIS THIS THIS THIS THIS
}
output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
  }
}

Answer 1

实际上，不支持“ include”，Logstash无法加载拆分成不同文件的管道以重用公共部分。 编辑：从不同文件组成管道的唯一方法是在path.config设置中指定文件夹或通配符“ *”，以便按字母顺序读取配置文件（感谢@ ger）。

如果您不想定义自己的管道的合成/编译系统，则可以查看“管道到管道”通信，该通信可用于例如分解复杂的管道并重用过滤器流量不同：https://www.elastic.co/guide/en/logstash/current/pipeline-to-pipeline.html。请注意，通过这种方法，您将支付运行多个管道的开销。

例如：

pipelines.yml

- pipeline.id: input
  path.config: "<path-to-file>/beats.conf"
- pipeline.id: date-filters
  # This common pipeline allow to reuse the same logic for complex filters
  path.config: "<path-to-file>/date.conf"
- pipeline.id: output
  path.config: "<path-to-file>/elasticsearch.conf"

beats.conf

input {
  beats {
    port => 5044
  }
}
output { pipeline { send_to => [commonFilters] } }

date.conf

input { pipeline { address => commonFilters } }
filter {
  date {
    match => ["myTimestamp", "yyyyMMdd_HH:mm:ss.SSS"]
    target => "date_time"
  }
}
output { pipeline { send_to => [output] } }

elasticsearch.conf

input { pipeline { address => output } }
output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
  }
}

如何在logstash conf文件中使用包含？

1 个答案: