拖尾json文件

时间:2018-05-14 05:41:41

标签: elasticsearch logging fluentd

我已经安装了流利的记录器,我希望它能够监视我的python代码的日志。日志是json日志,如下所示:

{
    "FileNo": 232,
    "FileClass": "timitry",
    "FileLevel": "24",
    "DataCount": 5,
    "Data": {
        "User1": <Username>,
        "User2": <Username>,
        "User3": <Username>,
        "User4": <Username>,
        "User5": <Username>"
    },
    "time": "2018-05-14T05:33:02.071793"
}

每5分钟更新一次。我需要为它编写一个流畅的输入插件,以便它可以读取新的json数据并将其发布到elastic search。我真的不知道在这里使用哪个输入插件但是我使用tail给出了以下错误:

2018-05-14 05:31:04 +0000 [warn]: #0 pattern not match: "    \"FileClass\": \"timitry\","

所有数据都是一样的。任何人都可以建议我如何解决这个问题。以下是配置文件:

<source>
  @type tail
  format json
  path /home/user/Documents/logs/file_log.json
  tag first
</source>

<match first*>
  @type elasticsearch
  hosts 192.168.111.456:9200
  user <username>
  password <password>
</match>

我见过其他人使用regex和其他格式。我是否也需要使用它。如何使用python代码生成的日志供流利者使用并将其发布到elastic search

由于

1 个答案:

答案 0 :(得分:0)

您可以尝试在匹配指令中的第一个之后删除通配符吗? 喜欢:

<match first>
 @type elasticsearch
 hosts 192.168.111.456:9200
 user <username>
 password <password>
</match>