我希望能够实时收集来自特定Web应用程序的日志流，以便大致了解我的基础架构的性能。作为工具，由于有些文章，我将使用Elk而不是Splunk，他们极力建议将Kafka与logstash一起使用，但到目前为止，我不知道这样做的目的，实际上，我的主要目的是为该应用设置基本模块，因此我必须得到回应。
答案 0 :(得分：0)
为简化此部署，Web服务器后端可以直接登录到Kafka。
如果您有日志文件，则可以使用Filebeat或Fluentd的Kafka输出而不是Logstash。
Logstash本质上将是一个聚合器，可以在inputs -> filters -> outputs之间进行操作
Kafka是option as an output，而不是通常的Elasticsearch。
我在Logstash + Filebeat中看到的问题是，您必须重新启动所有进程和配置以添加类似于SplunkForwarder的输入事件源，并且如果没有Logstash配置中的某些疯狂标记逻辑，就无法非常轻松地为每个输入配置唯一主题。 。我认为，更具扩展性的解决方案将具有数据源，该数据源配置了将其写入哪个Kafka主题。
推荐卡夫卡的主要原因是在Persistent Queues之前