调整顺序磁盘读取以提高性能

时间:2016-10-19 02:13:17

标签: linux performance io linux-kernel disk

我正在从磁盘顺序读取一个大文件,并在读取过程中尝试理解iostat输出。

  • 文件大小:10 GB
  • 读取缓冲区:4 KB
  • 预读(/ sys / block / sda / queue / read_ahead_kb):128 KB

iostat输出如下

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz await r_await w_await  svctm  %util
sda               0.00     0.00  833.00   14.00   103.88     0.05   251.30     6.07    5.69    2.33 205.71  1.18 100.00

计算I / O请求的平均大小=(rMB / s除以r / s)得到~128 KB,这是预读值。这似乎表明,当读取系统调用指定了4KB缓冲区时,实际磁盘I / O根据预读值发生。

当我将预读值增加到256KB时,iostat输出如下

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    28.00  412.00   12.00   102.50     0.05   495.32    10.78   12.15    4.76  265.83   2.36 100.00

同样,平均I / O请求大小为256 KB,与预读相匹配。

这一直持续到我将512 KB设置为预读值并且当我向上移动到预读值1024 KB时没有保持 - I / O请求的平均大小仍然是512 KB。将max_sectors_kb(每个I / O请求的最大数据量)从默认的512 KB增加到1024 KB也没有帮助。

为什么会发生这种情况 - 理想情况下,我希望尽可能减少读取的IOPS,并为每个I / O请求读取大量数据(每个请求大于512 KB)。此外,我在所有情况下都达到了100%的磁盘利用率 - 我想要限制自己读取50-60%的磁盘利用率和良好的顺序吞吐量。简而言之,顺序读取I / O的优化应用程序/内核设置是什么。

1 个答案:

答案 0 :(得分:3)

预读在1024kb情况下不起作用的原因应该是硬盘的扇区大小为512kb。请使用命令“fdisk -l”检查硬盘扇区大小。 即使您更改了预读大小和最大扇区大小参数,IO的实际大小仍然不会超过硬件IO大小(扇区大小)。