Question

我们使用Logstash接收日志，其配置如下：

input {
  udp {
    type => "logs"
    port => 12203
  }
}

filter {
  grok {
    type => "tracker"
     pattern => '%{GREEDYDATA:message}'
  }
  date {
    type => "tracker"
    match => [ "timestamp", "yyyy-MM-dd HH:mm:ss,SSS" ]
  }
}

output{
    tcp{
         type => "logs"
         host => "host"
         port => 12203
    }
}

然后我们使用以下设置在计算机"host"上选择日志：

input {
      tcp {
                      type => "logs"
                      port => 12203
                        }
}


output {
    pipe {
        command => "python /usr/lib/piperedis.py"
    }
}

从这里开始，我们正在解析这些行并将它们放入Redis数据库中。但是，我们发现了一个有趣的问题。

Logstash将日志消息“包装”在JSON样式包中，即：

{\"@source\":\"source/\",\"@tags\":[],\"@fields\":{\"timestamp\":[\"2013-09-16 15:50:47,440\"],\"thread\":[\"ajp-8009-7\"],\"level\":[\"INFO\"],\"classname\":[\"classname\"],\"message\":[\"message"\]}}

然后，我们接收它并在下一台机器上传递它，将其作为消息并将其放入另一个包装器中！我们只对实际的日志消息感兴趣而没有其他任何东西（源路径，源，标签，字段，时间戳e.t.c。）

有没有办法可以使用过滤器或其他东西来做到这一点？我们查看了文档，但找不到任何方法只在Logstash实例之间传递原始日志行。

谢谢，

马特

Answer 1

logstash文档错误 - 它表示默认的＆＃34;编解码器＆＃34;是plain但事实上它并没有使用编解码器 - 它使用输出format。

要获得更简单的输出，请将输出更改为

output {
    pipe {
        command => "python /usr/lib/piperedis.py"
        message_format =>  "%{message}"
    }
}

Answer 2

为什么不从stdout中提取这些消息？

line = sys.stdin.readline()
line_json = json.loads(line)
line_json['message'] # will be your @message

多个Logstash实例导致重复行

2 个答案: