是否可以从HTTP URL获取数据到Logstash？

Question

正如标题所说，我需要将数据（CSV或JSON）直接提供给logstash。我想要的是设置一个过滤器，比如CSV，它直接从一些http://example.com/csv.php读取内容到Logstash中，而不涉及任何middleman脚本。

Answer 1

如果我理解正确，您将尝试重复调用http资源并将数据提取到logstash中。所以你正在寻找输入而不是过滤器。

为此目的安装has just released新的http poller input插件。使用bin/plugin install logstash-input-http_poller安装后，您可以设置这样的配置来调用您的资源：

input {
  http_poller {
    urls => {
      myresource => "http://example.com/csv.php"
      }
    }
    request_timeout => 60
    interval => 60
    codec => "json" # set this if the response is json formatted
  }
}

如果回复包含CSV，则需要设置csv filter。

filter {
    csv{ }
}

还有一些插件可在过滤器部分中执行http请求。然而，这些应该可以丰富现有的事件，而这似乎并不是你想要的。