Question

我有如下日志：

{
  "log": {
    "header": {
      "key": "value",
      "nested": "{\"key1\":\"value\",\"key2\":\"value\"}",
      "dateTime": "2019-05-08T20:58:06+00:00"
    },
    "body": {
      "path": "/request/path/",
      "method": "POST",
      "ua": "curl/7.54.0",
      "resp": 200
    }
  }
}

我正在尝试使用fluentd聚合日志，并且我希望整个记录为JSON。特定的问题是“ $ .log.header.nested”字段，它是一个JSON字符串。如何解析该字符串并将其替换为内容？

为清楚起见，我希望fluentd输出的日志看起来像这样：

{
  "log": {
    "header": {
      "key": "value",
      "nested": {
          "key1": "value",
          "key2": "value"
      },
      "dateTime": "2019-05-08T20:58:06+00:00"
    },
    "body": {
      "path": "/request/path/",
      "method": "POST",
      "ua": "curl/7.54.0",
      "resp": 200
    }
  }
}

我已经找到了一种将嵌套字段解析为JSON的方法，但是尚不清楚是否存储回解析时使用的相同键。 hash_value_field似乎不支持存储到嵌套键。还有其他方法可以做到这一点吗？

Answer 1

以下配置似乎可以实现我想要的功能。但是，我不确定这是否是最好的方法。我认为使用红宝石的性能要差得多。欢迎对此进行任何改进。

<filter logs>
  @type parser
  key_name "$.log.header.nested"
  hash_value_field "parsed_nested"
  reserve_data true
  remove_key_name_field true
  <parse>
    @type json
  </parse>
</filter>

<filter logs>
  @type record_transformer
  enable_ruby true
  <record>
    parsed_nested ${record["log"]["header"]["nested"] = record["parsed_nested"]}
  </record>
  remove_keys parsed_nested
</filter>

流利的嵌套json解析

1 个答案: