Question

我在elasticsearch中有几个索引，其中一个索引只有大约100个文档，但必须每隔一秒更新一次。

GET _cat/indices的结果如下：

green  open index1           8naYU5e-R-iHvfSKnrEiGw 1 0      2   9  25.5kb  25.5kb
yellow open index2           ZPQWzY7VRYGnBG0i6AL5ag 5 1   5658  89   1.2mb   1.2mb
yellow open index3           MTIDbt4uQbOv4K-0uuyOKA 5 1      0   0   1.1kb   1.1kb
yellow open index4           laF0UcIYTFKQQ6bB9dtQyw 5 1      0   0   1.1kb   1.1kb
yellow open index5           d5SYGXhYTPiVH_GKSA47lQ 5 1      0   0   1.1kb   1.1kb
yellow open index6           nIiNMwNWRZu-aISdLWa8ZA 5 1 110964  61  16.1mb  16.1mb
yellow open index7           g492XL4ZRKy4NOIBwF1yzA 5 1 111054 352  12.5mb  12.5mb
yellow open index8           C2g2RI_oQaOxUvpbzSnVIQ 5 1    123 400 484.8kb 484.8kb

正如您所看到的，index7中只包含123个文档，磁盘上的文件不应超过500kb。

但是du -sh ./*的结果是这样的：

128K    ./8naYU5e-R-iHvfSKnrEiGw
1.5G    ./C2g2RI_oQaOxUvpbzSnVIQ
172K    ./d5SYGXhYTPiVH_GKSA47lQ
1.1G    ./g492XL4ZRKy4NOIBwF1yzA
172K    ./laF0UcIYTFKQQ6bB9dtQyw
172K    ./MTIDbt4uQbOv4K-0uuyOKA
424M    ./nIiNMwNWRZu-aISdLWa8ZA
276M    ./ZPQWzY7VRYGnBG0i6AL5ag

磁盘上的占用量超过1GB。

我的问题是为什么以及如何解决？

我在Ubuntu 16.04上使用elasticsearch 6.2.4

更新

du -sh ./g492XL4ZRKy4NOIBwF1yzA/*

的结果

3.2M    ./indices/g492XL4ZRKy4NOIBwF1yzA/0/index
8.0K    ./indices/g492XL4ZRKy4NOIBwF1yzA/0/_state
241M    ./indices/g492XL4ZRKy4NOIBwF1yzA/0/translog
3.1M    ./indices/g492XL4ZRKy4NOIBwF1yzA/1/index
8.0K    ./indices/g492XL4ZRKy4NOIBwF1yzA/1/_state
238M    ./indices/g492XL4ZRKy4NOIBwF1yzA/1/translog
3.2M    ./indices/g492XL4ZRKy4NOIBwF1yzA/2/index
8.0K    ./indices/g492XL4ZRKy4NOIBwF1yzA/2/_state
241M    ./indices/g492XL4ZRKy4NOIBwF1yzA/2/translog
3.1M    ./indices/g492XL4ZRKy4NOIBwF1yzA/3/index
8.0K    ./indices/g492XL4ZRKy4NOIBwF1yzA/3/_state
241M    ./indices/g492XL4ZRKy4NOIBwF1yzA/3/translog
3.1M    ./indices/g492XL4ZRKy4NOIBwF1yzA/4/index
8.0K    ./indices/g492XL4ZRKy4NOIBwF1yzA/4/_state
241M    ./indices/g492XL4ZRKy4NOIBwF1yzA/4/translog
4.0K    ./indices/g492XL4ZRKy4NOIBwF1yzA/_state/state-4.st

Answer 1

您在索引文件夹上使用du -h衡量的大小不仅包括索引中存储的文档占用的大小，还包含translog files，默认情况下可以使用{{3}} 512MB。

在您的情况下，_cat/indices显示您的index7索引为12.5mb大，并且在您的索引文件夹上运行du -h时，您可以看到每个index子位于每个分片文件夹中的文件夹大约为3.1mb，与_cat/indices报告的大小差不多。

Elasticsearch indice在磁盘上的大小超出了它们的大小

1 个答案: