Elasticsearch集群设计每天约200G日志

Question

我创建了ES群集（版本5.4.1），包含4个数据节点，3个主节点，1个客户端节点（kibana）。

数据节点是r4.2xlarge aws实例（61g内存，8vCPU），为ES JAVA分配了30G内存。

我们每天都会写200G左右的日志并保留最近14天。

我正在寻找群集的建议，以提高群集性能，尤其是搜索性能（kibana）。

更多数据节点？更多客户端节点？更大的节点？更多的复制品？任何可以改善表现的都是一种选择。

是否有人接近此设计或装载？ 我很高兴听到其他设计和装载。

谢谢， 摩西

Answer 1

1. 您使用了多少个分片？默认值为5？这甚至可能是一个非常好的数字。根据您的要求，碎片应在10G和50G之间;记录用例可能更像是在50GB方面。
2. 您想加快哪些查询？它们主要针对最近的数据还是长时间跨度？如果您主要对最近的数据感兴趣，可以在热温体系结构中使用不同的节点类型。使用最新数据和更少数据为节点提供更多电源;在功能较弱的节点上，大部分较旧且访问频率较低的数据。
3. 一般来说，你需要找到你的瓶颈。我得到免费的monitoring plugin，看看Kibana和Elasticsearch的表现如何。

狂野猜测：你的IO受限。首选本地磁盘通过EBS，更喜欢SSD而不是旋转磁盘，如果可以的话，可以获得尽可能多的IOPS用于该用例。