弹性搜索磁盘空间计算

Question

如何计算弹性搜索服务器磁盘空间，每天 4TB 日志所需的节点数。

• 弹性搜索索引中需要存储多少磁盘空间？
• 如何计算节点数？
• 是否压缩了索引？
• 来自logstash的10G日志在行格式化中需要多少磁盘空间？
• 索引是否已压缩？

以下是false的错误以及为什么，如果node配置为使用5个分片

存储 10G 日志需要 50 光盘空间 5 分片节点吗？

Answer 1

许多问题要求长答案。简而言之：

1. 空间：取决于。你有二进制数据吗？还是未压缩的文字？你想要多少副本 - 也许是0？如果您需要的原始文本和0副本：空间最有可能＆lt;您的原始数据大小。
2. 也许一个节点足以满足您的需求。或者你有1000次点击/秒？那你需要更多的节点。 （几乎线性可伸缩=>如果需要，添加节点）。
3. 是，默认设置为压缩，因为ES版本0.90左右
4. 通常，您还希望将数据存储到磁盘，而不仅仅是存储在内存中（although would be possible）=＆gt;见1.
5. 见3。

不是space=nodes*rawData。它更像space=compress(rawData)*replicas。

成功的关键是自己试验，找出适合您需求的东西（这些情况因情景而异）。

另见这些答案以便更好地理解：

Shards and replicas in Elasticsearch

ElasticSearch - Optimal number of Shards per node