Question

我的日志文件如下所示：

loc=846|time=2012-12-18 12:59:36|action=drop|orig=129.3.70.1|i/f_dir=inbound|i/f_name=eth1|has_accounting=0|uuid=<00000000,00000000,00000000,00000000>|product=VPN-1 & FireWall-1|__policy_id_tag=product=VPN-1 & FireWall-1[db_tag={8831AF0A-6B32-11E3-869E-000000000D0D};mgmt=sc-tog;date=1387735052;policy_name=Standard]|src=192.168.100.2|s_port=60184|dst=198.41.0.4|service=53|proto=udp|rule=15

我希望将此日志分配给键值json，以便将其保存在elasticsearch中。我正在使用logstash，我将日志存储在一个文件中 sperator是＆＃34; |＆＃34;字符内

我不知道如何在logstash conf文件中编写过滤器来读取此日志 logstash shold的conf文件如何看起来像

Answer 1

使用kv filter：

filter {
  kv {
    field_split => "|"
  }
}

如果键/值拆分成功，您可能希望删除message字段，此外，您还需要使用date filter解析time字段中的时间戳：< / p>

filter {
  kv {
    field_split => "|"
    remove_field => ["message"]
  }
  date {
    match => ["time", "YYYY-MM-dd HH:mm:ss"]
    remove_field => ["time"]
  }
}

您可能还希望将字符串字段中的某些字段转换为整数字段。为mutate filter加上{{3}}。

mutate {
  convert => {
    "loc" => "integer"
    "rule" => "integer"
    "s_port" => "integer"
    "service" => "integer"
  }
}

如何在logstash中编写过滤器conf文件，用“|”读取myCustomLogFile seprator和key = value

1 个答案: