我的elasticsearch服务器当前包含5B文档。但是,它停止了从数据库中进行索引,并且我们的数据库保留7B记录。我目前只有5个分片:
“碎片数”:“ 5”,
我该如何增加?是否可以增加此值以保留更多数据?该服务器是4TB SSD,目前仅使用800GB。
答案 0 :(得分:0)
碎片的最大文档数限制为2.1B /碎片。因此,您当前的分片配置应允许每个索引存储大约10B个文档。但是,建议将每个分片大小保持在20-50 GB之间,以实现最佳性能,并且在重新分配/恢复过程中,任何大于50 GB的问题都会成为问题。
只要您拥有可以容纳的主分片,就可以增加其数量。请注意,每个分片本身都会消耗群集资源(内存/ cpu),并且会增加群集开销。当群集过度分片时,我们遇到了一些重大的性能问题。
每个Elasticsearch碎片都是Lucene索引。一个Lucene索引中可以包含的文档数量上限。从LUCENE-5843开始,限制为2,147,483,519(= Integer.MAX_VALUE-128)个文档