Question

我正在编写一个程序，需要将大型二进制文件（大约12 GiB或更多）写入磁盘。我创建了一个小测试程序来测试这个功能。虽然为缓冲区分配RAM内存不是问题，但我的程序不会将数据写入文件。该文件仍为空。即使是3.72个GiB文件。

    //size_t bufferSize=1000; //ok
    //size_t bufferSize=100000000; //ok
    size_t bufferSize=500000000; //fails although it is under 4GiB, which shouldn't cause problem anyways
    double mem=double(bufferSize)*double(sizeof(double))/std::pow(1024.,3.);
    cout<<"Total memory used: "<<mem<<" GiB"<<endl;

    double *buffer=new double[bufferSize];
/* //enable if you want to fill the buffer with random data
    printf("\r[%i \%]",0);

    for (size_t i=0;i<(size_t)bufferSize;i++)
    {
        if ((i+1)%100==0) printf("\r[%i %]",(size_t)(100.*double(i+1)/bufferSize));
        buffer[i]=rand() % 100;
    }
*/
    cout<<endl;

     std::ofstream outfile ("largeStuff.bin",std::ofstream::binary);
     outfile.write ((char*)buffer,((size_t)(bufferSize*double(sizeof(double)))));

     outfile.close();

    delete[] buffer;

Answer 1

我实际上编译并运行了完全按照您粘贴的代码并且它有效。它会创建一个4GB的文件。

如果您使用的是FAT32文件系统，则最大文件大小为4GB。

否则我建议您检查一下：

您拥有的可用磁盘空间量。
您的用户帐户是否具有任何磁盘使用限制。
您拥有的可用内存量。
是否存在任何运行时错误。
@ enhzflep关于打印数量的建议（尽管如此）注释掉）

Answer 2

在编写文件之前，您似乎想要一个包含整个文件内容的缓冲区。

你做错了，通过：虚拟内存要求基本上是他们需要的两倍。您的进程会保留缓冲区，但是当您将该缓冲区写入磁盘时，它会在操作系统的缓冲区中重复出现。现在，大多数操作系统会注意到你按顺序写入并可能很快丢弃它们的缓冲区，但仍然：它相当浪费。

相反，您应该创建一个空文件，将其增长到所需的大小，然后将其视图映射到内存中，并对文件在内存中的视图进行修改。对于32位主机，您的文件大小限制为<1GB。对于64位主机，它仅受文件系统的限制。在现代硬件上，如果你有足够的可用RAM，那么创建和填充1GB文件大约需要1秒钟（！）。

感谢RAII的奇迹，你不需要做任何特别的事情来释放映射的内存，或者关闭/完成文件。通过利用boost，您也可以避免编写特定于平台的代码。

// https://github.com/KubaO/stackoverflown/tree/master/questions/mmap-boost-40308164
#include <boost/interprocess/file_mapping.hpp>
#include <boost/interprocess/mapped_region.hpp>
#include <boost/filesystem.hpp>
#include <cassert>
#include <cstdint>
#include <fstream>

namespace bip = boost::interprocess;

void fill(const char * fileName, size_t size) {
    using element_type = uint64_t;
    assert(size % sizeof(element_type) == 0);
    std::ofstream().open(fileName); // create an empty file
    boost::filesystem::resize_file(fileName, size);
    auto mapping = bip::file_mapping{fileName, bip::read_write};
    auto mapped_rgn = bip::mapped_region{mapping, bip::read_write};
    const auto mmaped_data = static_cast<element_type*>(mapped_rgn.get_address());
    const auto mmap_bytes = mapped_rgn.get_size();
    const auto mmap_size = mmap_bytes / sizeof(*mmaped_data);
    assert(mmap_bytes == size);

    element_type n = 0;
    for (auto p = mmaped_data; p < mmaped_data+mmap_size; ++p)
       *p = n++;
}

int main() {
   const uint64_t G = 1024ULL*1024ULL*1024ULL;
   fill("tmp.bin", 1*G);
}

如何将大型二进制文件写入磁盘

2 个答案: