Logstash / Elasticsearch / Kibana资源规划

时间:2015-05-19 17:00:14

标签: elasticsearch logstash kibana high-load

如何根据负载规划资源(我怀疑,弹性搜索实例):

对于载荷,我的意思是≈500K事件/分钟,每个事件包含8-10个字段。

我应该转动哪些配置旋钮? 我是这个堆栈的新手。

1 个答案:

答案 0 :(得分:4)

每分钟500,000个事件是每秒8,333个事件,这对于一个小型集群(3-5台机器)来说应该很容易处理。

问题是将720M日常文件保持开放60天(43B文件)。如果10个字段中的每一个都是32字节,那么磁盘空间为13.8TB(单个副本几乎为28TB)。

为了比较,我最多有5个节点(64GB RAM,31GB堆),1.2B文件占用1.2TB磁盘空间(复制副本为2)。这个集群无法处理每台机器只有32GB内存的负载,但它现在很高兴64GB。这是我们10天的数据。

粗略地说,您所需的文件数量是我的群集的两倍,占用磁盘空间的10倍。

我没有确切的数字在我面前,但我们使用doc_values的试点项目给了我们90%的堆积节省。

如果所有这些数学都成立,并且doc_values就是那么好,那么对于与索引的实际字节数相关的问题,您可以使用类似的集群。我会就有这么多单独文件的开销征求更多信息。

我们已经做了一些弹性搜索调整,但可能还有很多工作要做。

我建议你从一些64GB的机器开始。您可以根据需要添加更多内容。抛弃几个(较小的)客户端节点作为索引和搜索请求的前端。