Ceph原始存储使用率与池存储使用率

Question

我是Ceph的新用户。

我的Ceph服务器正在运行版本12.2.5。它有3个节点，每个节点有1个OSD和4TB HDD。

ceph.conf

osd pool default size     = 3
osd pool default min size = 2

我已将252GB的数据上传到Ceph。

据我了解，由于设置了osd pool default size = 3，原始存储空间的使用应约为3倍。

但是现在我的全球原始存储使用量几乎是数据的6倍（1605GB / 252GB = 6.3）

GLOBAL:
    SIZE       AVAIL     RAW USED     %RAW USED
    11165G     9560G        1605G         14.38
POOLS:
    NAME                          ID     USED      %USED     MAX AVAIL     OBJECTS
    .rgw.root                     8       1113         0         3000G           4
    default.rgw.control           9          0         0         3000G           8
    default.rgw.meta              10     21502         0         3000G          72
    default.rgw.log               11         0         0         3000G         269
    default.rgw.buckets.index     15         0         0         3000G         427
    default.rgw.buckets.data      16      256G      7.88         3000G     6522963

有人在Ceph上遇到同样的问题吗？

更新

我想我找出了原因。我的大部分文件都是小文件，但是在Ceph版本12.2.5（bluestore）中，bluestore具有最小分配大小bluestore_min_alloc_size_hdd = 65536，因此，如果文件小于64k，则仍使用64k进行存储。

我测试了上载2000个文件（每个64k）和3200个文件（每个40k），总共约128M

64k文件的原始使用量为410M，接近384M（2000 * 64k * 3）

40k文件的原始使用量为602M，接近614M（3200 * 64k * 3）

Answer 1

我遇到了同样的问题。我只有在创建池后才意识到这一点。您可以将min_alloc更改为4096，但我不知道它将如何为您执行。我建议虽然应该走到32k或16k的一半，但不要更低。