“分片数量问题”-重新访问:)
在为Elasticsearch集群指定碎片数量等时,需要考虑许多因素。请允许我指定一个虚构的情况:
流入量:30000 docs / s-> 2592000000 docs / 24h(30000 * 86400) 估计的文档大小(以字节为单位):2000 估计的总文档大小/ 24h,以TB为单位:5 副本数:1
鉴于上述 if ,我们考虑以下内容: 最高50GB /碎片 最多25个碎片/ GB堆空间
这将导致: 256个分片(分片和副本),最大大小为50GB /分片 11 GB堆空间(256/25)
即使我们有100个节点集群(取决于节点配置),但看一下256个分片(包括副本)的情况也显得不堪重负。
在这种情况下,您如何根据分片数量和整体节点配置进行推理?