高峰期的Filebeat / logstash队列消息

时间:2016-06-10 13:38:30

标签: logstash filebeat

我有一台运行Elasticsearch,Logstash和Kibana的服务器。使用Filebeat从大约10个远程服务器将传入消息推送到此服务器。

来自10个主机的流量相当严重"突发性"在高峰时段,我预计传入的请求会在15分钟内达到每分钟10万条记录。

我的问题是,如果logstash无法每分钟处理100k个请求,那么filebeat会开始限制还是继续向远程logstash服务器发送请求?

此外,如果ELK服务器关闭或不可用,消息是否丢失或Filebeat是否等到ELK服务器再次可用之后才开始发送消息?

我已经查看了Filebeat文档,似乎无法找到这些问题的答案。谢谢你的任何指示。

1 个答案:

答案 0 :(得分:0)

Filebeat是一种基于连接的服务,它确保在发送日志之前它可以与服务器通信,并等待这些日志由Logstash获取ACK。此外,如果Logstash无法跟上,节拍输入插件将检测到管道减速'并告诉Filebeat暂时退出。

我是否可以找到这些事实的官方参考资料。