Question

我正在尝试将Apache日志文件上传到Big Query。我已经安装了logstash和contrib插件（对于Big Query）。

当我配置stdin / stdout时，我看到所有具有良好解析的字段。当我配置stdin / output大查询时，我在Big Query中有一行。

但是当我配置输入文件和输出大查询时，我什么都没有进入BQ。我没有任何错误。

有我的日志文件（/logfile/toto.log）： 9.219.129.178 - - [2014年8月24日：06：33：20 +0200]＆＃34; GET / 2011/03 / HTTP / 1.1＆＃34; 200 7478＆＃34; - ＆＃34; ＆＃34; Mozilla / 5.0（Windows; U; Windows NT 6.0; de; rv：1.9.2.3）Gecko / 20100401 Firefox / 3.6.3（.NET CLR 3.5.30729）＆＃34;

如果您有任何想法。非常感谢。

我的logstash配置

＆＃13;

input {
  file {
    path => "/logfile/toto.log"
    start_position => beginning
    exclude => "*.gz"
  }
}

filter {
  grok {
      match => { "message" => "%{COMBINEDAPACHELOG}"  }
  }
  date {
     match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
     locale => "en"
     remove_field=>["timestamp"]
  }
}

output {
    google_bigquery {
      project_id => "caramel-source-750"
      dataset => "logs"
      csv_schema => "message:STRING,version:STRING,timestamp:STRING,host:STRING,path:STRING,clientip:STRING,ident:STRING,auth:STRING,verb:STRING,request:STRING,httpversion:STRING,response:STRING,bytes:STRING,referrer:STRING,agent:STRING"
      key_path => "/var/www/API-Project-XXX.p12"
      key_password => "notasecret"
      service_account => "XXX@developer.gserviceaccount.com"
      temp_directory => "/tmp/logstash-bq"
      temp_file_prefix => "logstash_bq"
      date_pattern => "%Y-%m-%dT%H:00"
      flush_interval_secs => 2
      uploader_interval_secs => 30
      deleter_interval_secs => 30
    }
 }

＆＃13;

使用Logstash将Apache日志导入大查询

0 个答案: