读进程写的最佳缓冲区大小

Question

在我的函数中，我需要将文件中的一些数据读入缓冲区，操作数据并将其写回另一个文件。该文件大小未知，可能非常大。

如果我使用一个小缓冲区，将会有一个很长的读/写周期，这将花费很多时间。相反，长缓冲区意味着我需要消耗更多内存。我应该使用的最佳缓冲区大小是多少？这种情况是否依赖？

我在Windows中看到了一些类似'Tera copy'的应用程序，可以高效地管理大量文件。我应该注意其他任何技术或机制吗？

注意：此程序将在Windows下运行。

Answer 1

了解Microsoft对IO大小的评价：http://technet.microsoft.com/en-us/library/cc938632.aspx。基本上，他们说你应该在64K块中做IO。

在* NIX平台上，struct stat有一个st_blksize成员，该成员说明应该是最小IO块大小。

Answer 2

确实是高度依赖于案例的，您应该只编写程序以便能够处理灵活的缓冲区大小，然后尝试最佳的大小。

如果从小处开始然后增加缓冲区大小，则可能会达到一定的大小，之后您将看不到或极小的性能提升，因为CPU花费大部分时间来运行代码，并且来自I / O的开销可以忽略不计。

Answer 3

内存管理始终取决于案例，特别是与文件I / O结合使用时。

我方有两种可能的建议。

1）使用固定的I / O缓冲区大小，例如64K，256K，512KB或1MB。但是在这种情况下，如果I / O超过此固定缓冲区大小，则必须考虑在多次迭代中完成I / O的偏移。

2）使用malloc（）使用变量I / O缓冲区大小，但这也取决于某些因素。例如系统中的可用RAM以及操作系统中进程的最大动态内存分配限制。

Answer 4

这些事情的第一条规则就是基准。我的猜测是你过早地优化了。如果您正在使用真正的文件IO，那么磁盘（或其他）的带宽通常会成为瓶颈。只要您将数据写入多个页面的块中，性能就不会发生太大变化。

您可能希望与写入操作并行地计算部分数据。为此，您必须保留两个缓冲区，一个当前已写入，另一个用于处理。然后你会在POSIX系统上使用异步IO功能（aio_write，也可能在Windows上存在类似的东西）并为每次迭代切换缓冲区。

Answer 5

我建议你使用页面大小的缓冲区大小。例如，页面大小为4K，那么您可以使用4K字节缓冲区大小来最小化上下文切换。

Answer 6

虽然我不能说算法...内存使用与处理器使用是编程中的经典困境，你应该根据具体情况选择...所以如果系统有4GB可用RAM你可以明显消耗相当一点，如果你只有512MB，你应该花费很少的代价来运行CPU。最好的方法是以编程方式检查和更改您的尺寸：）