Question

我将我的NGINX日志格式化为JSON：

log_format le_json '{ "@timestamp": "$time_iso8601", '
                   '"remote_addr": "$remote_addr", '
                   '"remote_user": "$remote_user", '
                   '"body_bytes_sent": "$body_bytes_sent", '
                   '"status": $status, '
                   '"request": "$request", '
                   '"request_method": "$request_method", '
                   '"response_time": $upstream_response_time, '
                   '"http_referrer": "$http_referer", '
                   '"http_user_agent": "$http_user_agent" }';

我的日志被filebeat接收并发送到具有以下配置的Logstash：

input {
  beats {
    port => 5044
    codec => "json"
  }
}
filter {
    geoip {
      database => "C:/GeoLiteCity.dat" 
      source => "[remote_addr]"
          }
}
output {
  elasticsearch {
    template => "C:/ELK/logstash-2.2.2/templates/elasticsearch-template.json"
    template_overwrite => true
    hosts => ["127.0.0.1"]
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
  }
}

我遇到的问题是$ upstream_response_time。当没有响应时间时，NGINX会发出一个＆＃39; - ＆＃39;在这篇文章上。你可以看到我没有把＃34;＆＃34;在$ upstream_response_time附近，因为我希望它作为一个数字，所以我可以在Kibana中执行计算并显示。当＆＃39; - ＆＃39;发送后我在Logstash中得到一个jsonparsefailure，因为它不是一个数字。

我想设置所有＆＃39; - ＆＃39;为什么最好的方法是什么？我试图在nginx-config中过滤它没有成功。我认为需要在发送到Logstash之前完成，因为发生解析失败的地方。

有什么想法吗？

Answer 1

试试这个：

$upstream_response_time

-数字或未设置。 Nginx将未设置的变量记录为破折号（map），但var tableViewShiftedUp = false将它们视为空字符串。

Answer 2

@AlexeyTen的一个充实示例，使用null而不是0来区分实值，因为我不确定100％确定如何使用映射变量：

map $upstream_response_time $temprt {
  default $upstream_response_time;
  ""      null;
}

log_format le_json '{ "@timestamp": "$time_iso8601", '
               '"remote_addr": "$remote_addr", '
               '"remote_user": "$remote_user", '
               '"body_bytes_sent": "$body_bytes_sent", '
               '"status": $status, '
               '"request": "$request", '
               '"request_method": "$request_method", '
               '"response_time": $temprt, '
               '"http_referrer": "$http_referer", '
               '"http_user_agent": "$http_user_agent" }';

NGINX日志过滤器$ upstream_response_time JSON ELK＆＃34; - ＆＃34; parsefailure

2 个答案: