Question

我使用经过时间的插件计算时间和聚合插件然后显示它。我添加了自定义字段到过滤器你可以在下面看到它：

 add_field => {
       "status" => "Status"
        "User" => "%{byUser}"
    }

一个是静态的，另一个是动态的事件。在logstash输出时，它只显示静态值而不是动态值..

它显示动态的％{byUser}。但是对于任务ID和状态字段工作得很好，我得到了正确的值。

知道为什么吗？

多一点代码

elapsed {
    unique_id_field => "assetId"
    start_tag => "tag1:tag2"
    end_tag => "tag3:tag4"
    add_field => {
       "wasInStatus" => "tag3"
       "User" => "%{byUser}"
    }
    add_tag => ["CustomTag"]
  }

grok输入：

 grok {
        match => [
            "message", "%{TIMESTAMP_ISO8601:timestamp} %{NUMBER:assetId} %{WORD:event}:%{WORD:event1} User:%{USERNAME:byUser}"]


if "CustomTag" in [tags] and "elapsed" in [tags] {
    aggregate {
      task_id => "%{assetId}"
       code => "event.to_hash.merge!(map)"
        map_action => "create_or_update"
    }
  }

问题与：过滤后的过滤器：

new_event_on_match => true/false

在我的管道修复问题中将new_event_on_match更改为false是真的。但仍然想知道原因。

Answer 1

我现在也面临类似的问题，并找到了解决方法。当使用new_event_on_match => true时，经过的事件将与原始日志分开，并且新的经过的事件将被输入到ElasticSearch中，如下所示：

{
  "_index": "elapsed_index_name",
  "_type": "doc",
  "_id": "DzO03mkBUePwPE-nv6I_",
  "_version": 1,
  "_score": null,
  "_source": {
    "execution_id": "dfiegfj3334fdsfsdweafe345435",
    "elapsed_timestamp_start": "2019-03-19T15:18:34.218Z",
    "tags": [
      "elapsed",
      "elapsed_match"
    ],
    "@timestamp": "2019-04-02T15:39:40.142Z",
    "host": "3f888b2ddeec",
    "cus_code": "Custom_name", [This is a custom field]
    "elapsed_time": 41.273,
    "@version": "1"
  },
  "fields": {
    "@timestamp": [
      "2019-04-02T15:39:40.142Z"
    ],
    "elapsed_timestamp_start": [
      "2019-03-19T15:18:34.218Z"
    ]
  },
  "sort": [
    1554219580142
  ]
}

为了将“ cus_code”从原始日志（从中检测到经过过滤器结束标记的日志）添加到经过事件对象，我添加了一个聚合过滤器，如下所示：

if "elapsed_end_tag" in [tags] {
    aggregate {
       task_id => "%{execution_id}"
       code => "map['cus_code'] = event.get('custom_code_field_name')"
       map_action => "create"
    }
}

并通过验证'elapsed'标签来添加聚合的末尾

if "elapsed" in [tags] {
       aggregate {
          task_id => "%{execution_id}"
          code => "event.set('cus_code', map['cus_code'])"
          map_action => "update"
          end_of_task => true
          timeout => 400
      }
}

因此，要将自定义字段添加到经过的事件中，我们需要将聚合过滤器与经过的过滤器结合起来

已过滤+聚合在Logstash中传递自定义字段

1 个答案: