我想知道逐块写入文件的优点是什么。我认为它会减少io操作。但是在linux这样的环境数据中无论如何都要去页面缓存和后台守护进程进行物理磁盘写入(如果我错了,请纠正我)。在那种环境中,块写入的优点是什么?
答案 0 :(得分:3)
如果我正确理解你的问题,你会问到使用更大块的好处,而不是逐个字符地写字。
您必须考虑每次使用系统调用(例如write()
)本身都有最低成本,无论正在执行什么。此外,它可能会导致调用进程受到context switch的影响,{{3}}具有自己的成本,并且还允许其他进程使用CPU,从而导致更严重的延迟。
因此 - 即使我们忘记了每个操作可能立即进入磁盘的直接和同步I / O模式 - 从性能角度来看,通过移动更大的数据块来减少这些不变成本的影响是有意义的
使用dd
传输1,000,000字节的简单演示:
$ dd if=/dev/zero of=test.txt count=1000000 bs=1 # 1,000,000 blocks of 1 byte
1000000+0 records in
1000000+0 records out
1000000 bytes (1.0 MB) copied, 1.55779 s, 642 kB/s
$ dd if=/dev/zero of=test.txt count=100000 bs=10 # 100,000 blocks of 10 bytes
100000+0 records in
100000+0 records out
1000000 bytes (1.0 MB) copied, 0.172038 s, 5.8 MB/s
$ dd if=/dev/zero of=test.txt count=10000 bs=100 # 10,000 blocks of 100 bytes
10000+0 records in
10000+0 records out
1000000 bytes (1.0 MB) copied, 0.0262843 s, 38.0 MB/s
$ dd if=/dev/zero of=test.txt count=1000 bs=1000 # 1,000 blocks of 1,000 bytes
1000+0 records in
1000+0 records out
1000000 bytes (1.0 MB) copied, 0.0253754 s, 39.4 MB/s
$ dd if=/dev/zero of=test.txt count=100 bs=10000 # 100 blocks of 10,000 bytes
100+0 records in
100+0 records out
1000000 bytes (1.0 MB) copied, 0.00919108 s, 109 MB/s
作为额外的好处,使用更大的数据块可以让I / O调度程序和文件系统的分配器对您的实际工作负载做出更准确的估算。