Question

我在ubuntu 14.04上使用以下配置运行td-agent：


    <source>
     type tail
     format json
     path /path/tomcat/logs/file-input.log
     tag bhc.hdfs
     pos_file /var/td-agent/file.pos
     </source>

    <match bhc.hdfs>
     type webhdfs
     port 50070
     host my.host.name
     path /hdfs/path/file.${hostname}.%Y%m%d.log
     username user
     flush_interval 10s
     output_include_time false
     output_include_tag false
     output_data_type json
    </match>

目录 /path/tomcat/logs/file-input.log 中的日志源文件仅包含结构化的json数据。 Ntp守护程序已安装并正在运行，但是当td-agent在hdfs上创建文件时，文件名为19700101。怎么了？

Answer 1

流利的记录有时间，webhdfs插件创建的文件包含记录的时间戳，而不是当前时间。

tail插件默认使用名为time的字段作为记录时间。如果您的日志数据包含任何其他时间信息字段，则可以使用time_key和time_format指定。

另请参阅：http://docs.fluentd.org/articles/in_tail

fluent和webhdfs文件名与197001011

1 个答案: