Question

我是ELK堆栈的新手。我有一个filebeat服务将日志发送到logstash，在使用grok过滤器的logstash中，数据被推送到elasticsearch索引。

我正在使用gork过滤器和match => { "message" => "%{COMBINEDAPACHELOG}"}来解析数据。

我的问题是，我希望字段及其值的名称存储在elasticsearch索引中。我的不同版本的日志如下：

27.60.18.21 - - [27/Aug/2017:10:28:49 +0530] "GET /api/v1.2/places/search/json?username=pradeep.pgu&location=28.5359586,77.3677936&query=atm&explain=true&bridge=true HTTP/1.1" 200 3284
27.60.18.21 - - [27/Aug/2017:10:28:49 +0530] "GET /api/v1.2/places/search/json?username=pradeep.pgu&location=28.5359586,77.3677936&query=atms&explain=true&bridge=true HTTP/1.1" 200 1452
27.60.18.21 - - [27/Aug/2017:10:28:52 +0530] "GET /api/v1.2/places/nearby/json?&refLocation=28.5359586,77.3677936&keyword=FINATM HTTP/1.1" 200 3283
27.60.18.21 - - [27/Aug/2017:10:29:06 +0530] "GET /api/v1.2/places/search/json?username=pradeep.pgu&location=28.5359586,77.3677936&query=co&explain=true&bridge=true HTTP/1.1" 200 3415
27.60.18.21 - - [27/Aug/2017:10:29:06 +0530] "GET /api/v1.2/places/search/json?username=pradeep.pgu&location=28.5359586,77.3677936&query=cof&explain=true&bridge HTTP/1.1" 200 2476

弹性索引中我想要的字段如下：

client_ip =＆gt; type必须与kibana用于IP映射的内容兼容。
timestamp =＆gt;日期时间格式。 =＆GT;日志的时间
method =＆gt; text =＆gt;被称为例如GET，POST
version =＆gt;十进制数=＆gt;例如1.2 / 1.0（在样本日志中为v1.2）
username =＆gt; text =＆gt;它是username=之后的文本（在示例日志中为pradeep.pgu）
location =＆gt; geo_point type =＆gt;该值具有纬度和经度，因此kibana可以在地图上绘制这些值。
search_query =＆gt; text =＆gt;被搜索的东西（来自两个字段中的任何一个的样本＆＃34; keyword =＆＃34;或＆＃34; query =＆＃34;）。两个字段中的任何一个都存在，而存在的字段，必须使用它的值。
response_code =＆gt; number =＆gt;响应的代码。（在样本中为200）
data_transfered =＆gt; number =＆gt;传输的数据量（样本中的最后一个数字）。

这样的事情是否可能？ gork过滤器是否有此规定？事情是参数不是特定于订单的。

Answer 1

从HTTPD_COMMONLOG开始，您可以使用此模式（您可以在grok tester进行测试）：

grok {
 match => { 
  "message" => "%{IPORHOST:client_ip} %{HTTPDUSER:ident} %{HTTPDUSER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:method} /api/v%{NUMBER:version}/places/search/json\?%{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response_code} (?:%{NUMBER:data_transfered}|-)"
 } 
}

一旦grok过滤器提取了请求，就可以在其上使用kv过滤器，它将提取参数（并忽略参数不是特定于订单的问题）。您必须将field_split选项放入＆amp;：

kv { 
  source => "request"
  field_split => "&"
}

对于search_query，根据存在的字段，我们使用mutate过滤器和add_field选项来创建字段。

filter {
    grok {
        match => { 
            "message" => "%{IPORHOST:client_ip} %{HTTPDUSER:ident} %{HTTPDUSER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:method} /api/v%{NUMBER:version}/.*/json\?%{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response_code} (?:%{NUMBER:data_transfered}|-)"
        } 
    }
    kv { 
        source => "request"
        field_split => "&"
    }

    if [query] {
        mutate {
            add_field => { "search_query" => "%{query}" }
        }
    } else if [keyword] {
        mutate {
            add_field => { "search_query" => "%{keyword}" }
        }
    }

    if [refLocation] {
        mutate {
            rename => { "refLocation" => "location" }
        }
    }
}

logstash用于Apache日志的自定义日志过滤器

1 个答案: