ZFS Blocksize(记录大小)和primarycache问题

时间:2014-06-27 08:39:57

标签: filesystems zfs

在本网站上:http://www.patpro.net/blog/index.php/2014/03/19/2628-zfs-primarycache-all-versus-metadata/

该人员表示,通过将primarycache切换为全部或元数据,在使用防病毒软件时,他的阅读性能会大不相同。

然而,他也表明读取带宽也有很大差异。

  

我创建了2个全新的数据集,包括primarycache = none和compression = lz4,并且我在每个数据集中复制一个4.8GB的文件(2.05x compressratio)。然后我在第一个上设置primarycache = all,在第二个上设置primarycache = metadata。   我将第一个文件捕获到/ dev / null,并在另一个终端中运行zpool iostat。最后,我以同样的方式捕获第二个文件。

     

读取带宽列的总和(几乎)恰好是具有primarycache = all:2.44GB的数据集的磁盘上文件的物理大小(du输出)。   对于其他数据集,使用primarycache = metadata,读取带宽列的总和是......等待它... 77.95GB。

然后他说匿名用户解释如下:

  

clamscan读取一个文件,获取4k(页面大小?)数据并对其进行处理,然后读取下一个4k等等。

     但是,ZFS只能读取4k。它默认读取128k(记录大小)。由于没有缓存(您已将其关闭),其余数据将被丢弃。

     

128k / 4k = 32

     

32 x 2.44GB = 78.08GB

我不太了解匿名用户的解释。我仍然对为什么读取带宽有这么大的差异感到困惑。

那么为什么这个ZFS实验表明当primarycache全部时,读取带宽为2.44 GB,但当它只是元数据时,它是77.95GB?调整ZFS有什么意义?如果这个人可能会减少他的记录,他会有不同的结果吗?

ZFS的记录大小是多变的?

1 个答案:

答案 0 :(得分:2)

博客作者帕特里克的测试是将4.8 GB文件(压缩到2.44 GB)“捕获”到/ dev / null,并观察文件读取所需的时间。

关键是“primarycache = metadata”也可能意味着“cache = off”,因为实际文件都不会存储在缓存中。当“primarycache = all”时,系统会读取整个文件一次并将其存储在缓存中(通常是RAM,然后是填充后的L2 SSD缓存)。当“cat”或“clamscan”查找文件时,他们可以在那里找到它,并且不需要再从磁盘读取它。

当cat将文件写入/ dev / null时,它不只是在一个2.44 GB的块中写入它,它一次写入一点,然后它检查缓存中的下一位,然后它写了一些,等等。

关闭缓存后,需要从磁盘重新读取该文件一段时间,因为它写入/ dev / null(或stdout,无论在哪里) - 这是“128k / 4k = 32”的逻辑。

ZFS在128k块的磁盘上写入文件,但论坛海报发现“clamscan”(和“cat”,至少在这个用户的FreeBSD盒子上)处理4k块的数据。因此,如果没有缓存,每个128k块必须提供32次而不是一次。 (clamscan拉块#1,128k大,使用前4k;再次需要块#1,因为没有缓存它再次从磁盘读取块;取第二个4k,抛出其余的;等等。)

结果是:

[1]出于任何原因,也许永远不会做“primarycache = metadata”。

[2]当块大小不匹配时,可能会导致性能问题。 如果clamscan读取128k块,则在读取单个文件时不会有(显着的)差异。 OTOH,如果你不久之后再次需要该文件,缓存仍然会有其数据块,而且不需要再次从磁盘中提取。

...

以下是一些受论坛帖子启发的测试来说明。示例发生在zfs数据集上,记录大小设置为128k(默认值),primarycache设置为元数据,1G虚拟文件以不同的块大小复制,先是128k,然后是4,然后是8。(向右滚动,我已经用iostat读数排列了我的复制命令。

请注意,当块大小不匹配时,读取和写入气球的比率以及读取带宽的增加是多么显着。

    root@zone1:~# zpool iostat 3
                   capacity     operations    bandwidth
    pool        alloc   free   read  write   read  write
    ----------  -----  -----  -----  -----  -----  -----
    rpool        291G   265G      0     21  20.4K   130K
    rpool        291G   265G      0      0      0      0
    rpool        291G   265G      0    515      0  38.9M            ajordan@zone1:~/mnt/test$ mkfile 1G test1.tst   
    rpool        291G   265G      0  1.05K      0   121M
    rpool        292G   264G      0    974      0   100M
    rpool        292G   264G      0    217      0  26.7M
    rpool        292G   264G      0    516      0  58.0M
    rpool        292G   264G      0      0      0      0
    rpool        292G   264G      0      0      0      0
    rpool        292G   264G      0     96      0   619K
    rpool        292G   264G      0      0      0      0
    rpool        292G   264G      0      0      0      0
    rpool        292G   264G      0      0      0      0
    rpool        292G   264G      0      0      0      0
    rpool        292G   264G      0      0      0      0
    rpool        292G   264G      0      0      0      0
    rpool        292G   264G      0      0      0      0
    rpool        292G   264G      0      0      0      0
    rpool        292G   264G    474      0  59.3M      0            ajordan@zone1:~/mnt/test$ dd if=test1.tst of=test1.2 bs=128k
    rpool        292G   264G    254    593  31.8M  67.8M                
    rpool        292G   264G    396    230  49.6M  27.9M                
    rpool        293G   263G    306    453  38.3M  45.2M                8192+0 records in
    rpool        293G   263G    214    546  26.9M  62.0M                8192+0 records out
    rpool        293G   263G    486      0  60.8M      0
    rpool        293G   263G    211    635  26.5M  72.9M
    rpool        293G   263G    384    235  48.1M  29.2M
    rpool        293G   263G      0    346      0  37.2M
    rpool        293G   263G      0      0      0      0
    rpool        293G   263G      0      0      0      0
    rpool        293G   263G      0      0      0      0
    rpool        293G   263G      0      0      0      0
    rpool        293G   263G      0      0      0      0
    rpool        293G   263G      0      0      0      0
    rpool        293G   263G      0      0      0      0
    rpool        293G   263G      0      0      0      0
    rpool        293G   263G  1.05K     70   134M  3.52M            ajordan@zone1:~/mnt/test$ dd if=test1.tst of=test1.3 bs=4k
    rpool        293G   263G  1.45K      0   185M      0                
    rpool        293G   263G  1.35K    160   173M  10.0M
    rpool        293G   263G  1.44K      0   185M      0
    rpool        293G   263G  1.31K    180   168M  9.83M
    rpool        293G   263G  1.36K    117   174M  9.20M
    rpool        293G   263G  1.42K      0   181M      0
    rpool        293G   263G  1.26K    120   161M  9.48M
    rpool        293G   263G  1.49K      0   191M      0
    rpool        293G   263G  1.40K    117   179M  9.23M
    rpool        293G   263G  1.36K    159   175M  9.98M
    rpool        293G   263G  1.41K     12   180M   158K
    rpool        293G   263G  1.23K    167   157M  9.63M
    rpool        293G   263G  1.54K      0   197M      0
    rpool        293G   263G  1.36K    158   175M  9.70M
    rpool        293G   263G  1.42K    151   181M  9.99M
    rpool        293G   263G  1.41K     21   180M   268K
    rpool        293G   263G  1.32K    132   169M  9.39M
    rpool        293G   263G  1.48K      0   189M      0
    rpool        294G   262G  1.42K    118   181M  9.32M
    rpool        294G   262G  1.34K    121   172M  9.73M
    rpool        294G   262G    859      2   107M  10.7K
    rpool        294G   262G  1.34K    135   171M  6.83M
    rpool        294G   262G  1.43K      0   183M      0
    rpool        294G   262G  1.31K    120   168M  9.44M
    rpool        294G   262G  1.26K    116   161M  9.11M
    rpool        294G   262G  1.52K      0   194M      0
    rpool        294G   262G  1.32K    118   170M  9.44M
    rpool        294G   262G  1.48K      0   189M      0
    rpool        294G   262G  1.23K    170   157M  9.97M
    rpool        294G   262G  1.41K    116   181M  9.07M
    rpool        294G   262G  1.49K      0   191M      0
    rpool        294G   262G  1.38K    123   176M  9.90M
    rpool        294G   262G  1.35K      0   173M      0
    rpool        294G   262G  1.41K    114   181M  8.86M
    rpool        294G   262G  1.29K    155   165M  10.3M
    rpool        294G   262G  1.50K      7   192M  89.3K
    rpool        294G   262G  1.43K    116   183M  9.03M
    rpool        294G   262G  1.52K      0   194M      0
    rpool        294G   262G  1.39K    125   178M  10.0M
    rpool        294G   262G  1.28K    119   164M  9.52M
    rpool        294G   262G  1.54K      0   197M      0
    rpool        294G   262G  1.39K    120   178M  9.57M
    rpool        294G   262G  1.45K      0   186M      0
    rpool        294G   262G  1.37K    133   175M  9.60M                
    rpool        294G   262G  1.38K    173   176M  10.1M                
    rpool        294G   262G  1.61K      0   207M      0
    rpool        294G   262G  1.47K    125   189M  10.2M
    rpool        294G   262G  1.56K      0   200M      0
    rpool        294G   262G  1.38K    124   177M  10.2M
    rpool        294G   262G  1.37K    145   175M  9.95M
    rpool        294G   262G  1.51K     28   193M   359K
    rpool        294G   262G  1.32K    171   169M  10.1M
    rpool        294G   262G  1.55K      0   199M      0
    rpool        294G   262G  1.29K    119   165M  9.48M
    rpool        294G   262G  1.11K    110   142M  8.36M
    rpool        294G   262G  1.43K      0   183M      0
    rpool        294G   262G  1.36K    118   174M  9.32M
    rpool        294G   262G  1.49K      0   190M      0
    rpool        294G   262G  1.35K    118   173M  9.32M
    rpool        294G   262G  1.32K    146   169M  10.1M
    rpool        294G   262G  1.07K     29   137M   363K                262144+0 records in
    rpool        294G   262G      0     79      0  4.65M                262144+0 records out
    rpool        294G   262G      0      0      0      0
    rpool        294G   262G      0      0      0      0
    rpool        294G   262G      0      0      0      0
    rpool        294G   262G      0      0      0      0
    rpool        294G   262G      0      0      0      0
    rpool        294G   262G      0      0      0      0



    root@zone1:~# zpool iostat 3
                   capacity     operations    bandwidth
    pool        alloc   free   read  write   read  write
    ----------  -----  -----  -----  -----  -----  -----
    rpool        292G   264G      0     21  22.6K   130K
    rpool        292G   264G      0      0      0      0
    rpool        292G   264G      0      0      0      0
    rpool        292G   264G  1.03K      0   131M      0            ajordan@zone1:~/mnt/test$ dd if=test8k.tst of=test8k.2 bs=8k
    rpool        292G   264G  1.10K    202   141M  16.4M
    rpool        292G   264G  1.25K     25   161M   316K
    rpool        292G   264G    960    215   120M  15.5M
    rpool        292G   264G  1.25K      0   160M      0
    rpool        292G   264G     1K    210   128M  14.8M
    rpool        292G   264G   1010    159   126M  14.3M
    rpool        292G   264G  1.28K      0   164M      0
    rpool        292G   264G  1.08K    169   138M  15.6M
    rpool        292G   264G  1.25K      0   161M      0
    rpool        292G   264G  1.00K    166   128M  15.3M
    rpool        293G   263G    998    201   125M  15.1M
    rpool        293G   263G  1.19K      0   153M      0
    rpool        293G   263G    655    161  82.0M  14.2M
    rpool        293G   263G  1.27K      0   162M      0
    rpool        293G   263G  1.02K    230   130M  12.7M
    rpool        293G   263G  1.02K    204   130M  15.5M
    rpool        293G   263G  1.23K      0   157M      0
    rpool        293G   263G  1.11K    162   142M  14.8M
    rpool        293G   263G  1.26K      0   161M      0
    rpool        293G   263G  1.01K    168   130M  15.5M
    rpool        293G   263G  1.04K    215   133M  15.5M
    rpool        293G   263G  1.30K      0   167M      0
    rpool        293G   263G  1.01K    210   129M  16.1M
    rpool        293G   263G  1.24K      0   159M      0
    rpool        293G   263G  1.10K    214   141M  15.3M
    rpool        293G   263G  1.07K    169   137M  15.6M
    rpool        293G   263G  1.25K      0   160M      0
    rpool        293G   263G  1.01K    166   130M  15.0M
    rpool        293G   263G  1.25K      0   160M      0
    rpool        293G   263G    974    230   122M  15.8M
    rpool        293G   263G  1.11K    160   142M  14.4M
    rpool        293G   263G  1.26K      0   161M      0
    rpool        293G   263G  1.06K    172   136M  15.8M
    rpool        293G   263G  1.27K      0   162M      0
    rpool        293G   263G  1.07K    167   136M  15.4M
    rpool        293G   263G   1011    217   126M  15.8M
    rpool        293G   263G  1.22K      0   156M      0
    rpool        293G   263G    569    160  71.2M  14.6M                131072+0 records in
    rpool        293G   263G      0      0      0      0                131072+0 records out
    rpool        293G   263G      0     98      0  1.09M
    rpool        293G   263G      0      0      0      0
    rpool        293G   263G      0      0      0      0
    rpool        293G   263G      0      0      0      0