Question

在我的Logstash中，我有一个管道，运行2个SQL查询来下载数据。下面是管道的conf文件：

input {

  jdbc {
        jdbc_driver_library => "/opt/logstash/lib/ojdbc8.jar"
        jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
        #Hidden db connection details
        statement_filepath => "/etc/logstash/queries/transactions_all.sql"
        type => "transactions"
  }
  jdbc {
        jdbc_driver_library => "/opt/logstash/lib/ojdbc8.jar"
        jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
        #Hidden db connection details
        statement_filepath => "/etc/logstash/queries/snow_db_stats_ts_all.sql"
        type => "db_stats_ts"
  }

output{
       if [type] == "transactions" {
         elasticsearch {
             index => "servicenow_oraaspoc-%{+YYYY.MM.dd}"
             hosts => ["localhost:9200"]
         }
       }
       if [type] == "db_stats_ts" {
        elasticsearch {
            index => "snow_db_stats_ts-%{+YYYY.MM.dd}"
            hosts => ["localhost:9200"]
        }
       }
  stdout {     
          codec => rubydebug
  }

}

我可以在控制台中看到一切正常，但类型为transactions的索引永远不会保存到Elasticsearch。这个条件if [type] == "transactions" {永远不会成立，第二个条件没有任何问题。我尝试使用transactions索引运行管道而没有条件，并且它工作正常。出于某种原因，这个条件不起作用，但为什么？

我找到了一个荒谬的解决方法，但是如果我遇到另一个带有此问题的索引，它就无法工作：

   if [type] == "db_stats_ts" { .. } else {
       elasticsearch {
          index => "servicenow_oraaspoc-%{+YYYY.MM.dd}"
          hosts => ["localhost:9200"]
       }
   }

Answer 1

ike Thomas Decaux提到你可以使用标签而不是类型，顺便说一下你可以为每个jdbc块使用尽可能多的标签。使用以下示例中的标记从配置文件中删除类型：

output{
       if "transactions" in [tags] {
         elasticsearch {
           index => "servicenow_oraaspoc-%{+YYYY.MM.dd}"
           hosts => ["localhost:9200"]
         }
       }
       if "db_stats_ts" in [tags] {
        elasticsearch {
          index => "snow_db_stats_ts-%{+YYYY.MM.dd}"
          hosts => ["localhost:9200"]
        }
       }
}

您的输出块应如下所示：

err := session.DB.C("user").Find(bson.M{"_id": id}).One(&m)

Logstash如果类型条件不起作用

1 个答案: