Question

我使用的是Logstash插件（logstash-input-rethinkdb）。该插件获取数据库中的所有编辑，并输出包含以下结构的json对象：

{
      "db":"itjobs",
      "table":"countries", 
      "old_val":null,
      "new_val":{
           "code":"USA3",
           "country":"USA3",
           "id":"7c8c9e4e-aa37-48f1-82a5d624cde4a3a0"
      },
      "@version":"1",
      "@timestamp":"2016-12-19T19:54:08.263Z"
 }

我在elasticsearch中插入此文档但问题是，在弹性方面我得到了相同的结构 - ＆gt; new_val:{code:''}

我需要做一个过滤器或从new_val中提取所有内容并将其添加到根

的内容

我尝试了过滤器json，但这得到string并且插件已经输出了json

编辑后我需要它看起来像：

{
      "db":"itjobs",
      "table":"countries", 
      "code":"USA3",
      "country":"USA3",
      "id":"7c8c9e4e-aa37-48f1-82a5d624cde4a3a0"
      "@version":"1",
      "@timestamp":"2016-12-19T19:54:08.263Z"
 }

Answer 1

您可以使用ruby过滤器：

filter {
    ruby {
        code => "
            event['new_val'].each {|k, v|
                event[k] = v
            }
            event.remove('new_val')
        "
    }
}

使用Logstash 2.2测试，版本5 +应该不同。

Answer 2

在他们将类Logstash :: Event更改为API后，此方法有效： https://www.elastic.co/guide/en/logstash/current/event-api.html

filter {
  ruby {
    code => "
      event.get('new_val').each {|k, v|
        event.set(k,v)
      }
      event.remove('new_val')
    "
  }
}

Logstash mutate添加json中的所有字段

2 个答案: