带有ELK堆栈的索引文档URL

Question

我想使用logstash在文档下面加载以使用弹性搜索对其进行索引：

https://www.ibm.com/support/knowledgecenter/SSEPGG_10.1.0/com.ibm.db2.luw.common.doc/doc/t0020018.html

目前，我可以使用elasticsearch索引所有日志，但我不知道如何使用url索引文档。

此方案对于logstash是否有效，如果是，请帮助我。

Answer 1

您最近可以在 logstash 配置中使用http poller最新released插件。 input看起来像这样：

input {
  http_poller {
    urls => {
      myurl=> "https://www.ibm.com/support/knowledgecenter/SSEPGG_10.1.0/com.ibm.db2.luw.common.doc/doc/t0020018.html"
      }
    }
    request_timeout => 60
    interval => 60
    codec => "json"  <--- to decode the results to json
  }
}

以上只是一个示例，以便您可以重现。希望这有帮助！