Question

我无法获得ILM过渡别名来接受变量。在此特定实例中，我们将拥有一个ELK集群，用于托管多个环境的日志。进入logstash管道之前，日志条目将带有其环境标记。我希望这些条目使用正确的别名，但是启动logstash（将堆栈跟踪截短）时出现以下错误：

发生意外错误！ {：error => java.net.URISyntaxException：索引0处格式错误的转义对：％{[fields] [Environment]}-logs

这是我的logstash管道：

input { 
  rabbitmq {
    host => "rabbitmq"
    port => 5672
    user => "guest"
    password => "guest"
    subscription_retry_interval_seconds => 5
    queue => "logstash-queue"
    exchange => "logs"
    exchange_type => "direct"
    durable => true
    key => "logstash"
  }
}

filter {
  mutate {
    rename => {"Properties" => "fields"}
  }
  mutate {
    lowercase => ["[fields][Environment]"]
  }
}

output {
  elasticsearch {
      hosts => ["http://elasticsearch:9200"]
      template_name=>"app-logs"
      ilm_enabled => true
      ilm_rollover_alias => "%{[fields][Environment]}-logs"
      ilm_pattern => "{now/d}-000001"
      ilm_policy => "30_day_retention_logs_policy"
    }
}

Answer 1

根据https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html#_writing_to_different_indices_best_practices

当ilm_enabled为true且使用ilm_rollover_alias时，不能使用动态变量替换。

建议的解决方案（在撰写本文时）是使用多个输出。我建议将logstash.conf（盐，ansible等）的生成自动化，这样您就不必继续手动编辑配置文件。

output {
        if <condition> {
            elasticsearch {
                ...
                index => "logstash-<env>-logs"
                ilm...
            }
<etc>

在弹性github上有关于此的问题-奇怪的是，已取消这种灵活性，但是您去了。

在Elasticsearch输出ILM滚动别名中使用变量

1 个答案: