熟悉Logstash输出插件

Question

我正在尝试使用flunetd从scribe服务器读取并输出这些日志暂时存储在logstash中。我知道将scribe_central日志记录到另一个中央记录器是非常愚蠢的，但我们需要在我们当前的架构中完成。

有没有人知道是否有任何插件可以做到这一点？我搜索了谷歌但找不到任何东西。

Answer 1

对于Scribe＆lt; - ＆gt;流利，有fluent-plugin-scribe：

对于Fluentd＆lt; - ＆gt; Logstash，有两个选项：

1. 在中间使用Redis，在Logstash端使用fluent-plugin-redis和input_redis。所以它将是Fluentd - ＆gt; Redis - ＆gt; Logstash。这就是Logstash推荐的日志托运人+ Logstash。
2. 或者，您可以使用Fluentd的out_forward插件和Logstash的TCP输入。 Logstash具有Fluentd编解码器来处理来自Fluentd的输入。

Answer 2

您可以将其直接转发到您的logstash tcp输入：）

我写了一个flunetd output plugin，用于通过安全 tcp连接将流畅的事件转发给通用接收器（也可以配置为非安全连接）。

要将插件添加到流畅的代理，请使用以下命令：

gem install fluent-plugin-loomsystems

另见original answer，祝你好运。

Answer 3

我在配置片段下面使用了来自jrstd和http输入的http输出的logstash：

流利的：

<match **>
    @type http
    endpoint_url http://logstash-box:8080/
    http_method put
    serializer json
    raise_on_error false
</match>

Logstash：

input {
    http {
        port => 8080 
    }
}

Obs：您可能必须安装插件gem install fluent-plugin-out-http