Question

Guyz ......我们被困住了......保释我们！： - ）

我们正在使用Fluentd进行三步日志聚合管道。

[＃1 - 尾部日志（原始日志）] - （TCP） - ＆gt; [＃2 - 将读取的日志解析为JSON] - （TCP） - ＆gt; [＃3 - 过滤并输出到Redis＆amp;蒙戈]

我们不会在第一步中将尾部日志转换为JSON。这主要是因为我们希望避免该服务器上的任何额外CPU消耗。我们拥有的日志行非常复杂，并且有意推迟了第2步的解析（在不同的集群/服务器上）。

所以阶段＃1发出：时间，标签＆amp;记录（原始日志行）。我们在这里使用in_tail插件，所以默认情况下＆＃39; time＆＃39; attribute表示从文件中读取记录的时间。因此，在负载下，读取时间可能与日志行的实际时间戳不匹配。

JSON解析推迟到第二阶段。

在第二阶段，一旦我们将日志转换为JSON ......我们希望覆盖“时间”＃39;阶段＃1发送的属性来自JSON记录的时间属性。

我们在第2步（https://github.com/tagomoris/fluent-plugin-parser）使用Fluent-Plugin-Parser。

我们如何覆盖时间属性并让FluentD使用它而不是时间＆＃39;在步骤＃1中读到了什么？

Answer 1

是的，您可以使用fluent-plugin-parser的无证功能＆＃34; time_key＆＃34;像这样：

<source>
  type exec
  run_interval 3s
  format json
  command echo '{"message":"hello,2013-03-03 12:00:13"}'
  tag first
</source>

<match first>
  type parser
  key_name message
  time_key my_time
  time_format %Y-%m-%d %H:%M:%S
  format /^(?<some_field>[^,]*),(?<my_time>.*)/
  tag second
</match>

<match second>
  type stdout
</match>

以上代码段的作用是：

使用标记＆＃34; first＆＃34;每隔3秒生成一次消息{"message":"hello,2013-03-03 12:00:13"}。这是为了测试目的。
与<match first>匹配。然后，解析器插件解析名为＆＃34; message＆＃34;的字段。用正则表达式。在您的情况下，它将是format json。
time_key my_time告诉解析器插件在＆＃34;消息＆＃34;的解析值内寻找一个字段。字段，如果存在，则使用time_format %Y-%m-%d %H:%M:%S解析该字段。 从现在开始，这是新的时间
最后，我输出到stdout。

如果你运行上面的conf，你应该得到这样的输出：

root@ae4a398d41ef:/home/fluentd# fluentd -c fluent.conf
2014-05-31 00:01:19 +0000 [info]: starting fluentd-0.10.46
2014-05-31 00:01:19 +0000 [info]: reading config file path="fluent.conf"
2014-05-31 00:01:19 +0000 [info]: gem 'fluent-plugin-parser' version '0.3.4'
2014-05-31 00:01:19 +0000 [info]: gem 'fluentd' version '0.10.46'
2014-05-31 00:01:19 +0000 [info]: using configuration file: <ROOT>
  <source>
    type exec
    run_interval 3s
    format json
    command echo '{"message":"hello,2013-03-03 12:00:13"}'
    tag first
  </source>
  <match first>
    type parser
    key_name message
    time_key my_time
    time_format %Y-%m-%d %H:%M:%S
    format /^(?<some_field>[^,]*),(?<my_time>.*)/
    tag second
  </match>
  <match second>
    type stdout
  </match>
</ROOT>
2014-05-31 00:01:19 +0000 [info]: adding source type="exec"
2014-05-31 00:01:19 +0000 [info]: adding match pattern="first" type="parser"
2014-05-31 00:01:19 +0000 [info]: adding match pattern="second" type="stdout"
2013-03-03 12:00:13 +0000 second: {"some_field":"hello"}
2013-03-03 12:00:13 +0000 second: {"some_field":"hello"}
2013-03-03 12:00:13 +0000 second: {"some_field":"hello"}
2013-03-03 12:00:13 +0000 second: {"some_field":"hello"}

流利：如何覆盖时间属性

1 个答案: