Question

现在，我每秒可获得约3.6GB的内存数据，我需要将这些数据连续写入我的SSD中。我使用CrystalDiskMark来测试我的SSD的写入速度，该速度几乎为每秒6GB，所以我认为这项工作应该不那么困难。

！[我的SSD测试结果] [1]：

[1] https://plus.google.com/u/0/photos/photo/106876803948041178149/6649598887699308850?authkey=CNbb5KjF8-jxJQ“测试结果”：

我的计算机是Windows 10，使用Visual Studio 2017社区。

我找到了this question，并尝试了投票最高的答案。不幸的是，他的option_2的写入速度仅为1s / GB，远远低于CrystalDiskMark的测试速度。然后我尝试了内存映射，这次写入变得更快，大约630ms / GB，但是仍然慢得多。然后我尝试了多线程内存映射，看来当线程数为4时，速度约为350ms / GB，而当我加上线程数时，写入速度不再提高。

内存映射代码：

#include <fstream>
#include <chrono>
#include <vector>
#include <cstdint>
#include <numeric>
#include <random>
#include <algorithm>
#include <iostream>
#include <cassert>
#include <thread>
#include <windows.h>
#include <sstream>


// Generate random data
std::vector<int> GenerateData(std::size_t bytes) {
    assert(bytes % sizeof(int) == 0);
    std::vector<int> data(bytes / sizeof(int));
    std::iota(data.begin(), data.end(), 0);
    std::shuffle(data.begin(), data.end(), std::mt19937{ std::random_device{}() });
    return data;
}

// Memory mapping
int map_write(int* data, int size, int id){
    char* name = (char*)malloc(100);
    sprintf_s(name, 100, "D:\\data_%d.bin",id);
    HANDLE hFile = CreateFile(name, GENERIC_READ | GENERIC_WRITE, 0, NULL, OPEN_ALWAYS, FILE_ATTRIBUTE_NORMAL, NULL);//
    if (hFile == INVALID_HANDLE_VALUE){
        return -1;
    }

    Sleep(0);

    DWORD dwFileSize = size;

    char* rname = (char*)malloc(100);
    sprintf_s(rname, 100, "data_%d.bin", id);

    HANDLE hFileMap = CreateFileMapping(hFile, NULL, PAGE_READWRITE, 0, dwFileSize, rname);//create file  
    if (hFileMap == NULL) {
        CloseHandle(hFile);
        return -2;
    }

    PVOID pvFile = MapViewOfFile(hFileMap, FILE_MAP_WRITE, 0, 0, 0);//Acquire the address of file on disk
    if (pvFile == NULL) {
        CloseHandle(hFileMap);
        CloseHandle(hFile);
        return -3;
}

    PSTR pchAnsi = (PSTR)pvFile;
    memcpy(pchAnsi, data, dwFileSize);//memery copy 

    UnmapViewOfFile(pvFile);

    CloseHandle(hFileMap);
    CloseHandle(hFile);

    return 0;
}

// Multi-thread memory mapping
void Mem2SSD_write(int* data, int size){
    int part = size / sizeof(int) / 4;

    int index[4];

    index[0] = 0;
    index[1] = part;
    index[2] = part * 2;
    index[3] = part * 3;

    std::thread ta(map_write, data + index[0], size / 4, 10);
    std::thread tb(map_write, data + index[1], size / 4, 11);
    std::thread tc(map_write, data + index[2], size / 4, 12);
    std::thread td(map_write, data + index[3], size / 4, 13);

    ta.join();
    tb.join();
    tc.join();
    td.join();
 }

//Test:
int main() {
    const std::size_t kB = 1024;
    const std::size_t MB = 1024 * kB;
    const std::size_t GB = 1024 * MB;

    for (int i = 0; i < 10; ++i) {
        std::vector<int> data = GenerateData(1 * GB);
        auto startTime = std::chrono::high_resolution_clock::now();
        Mem2SSD_write(&data[0], 1 * GB);
        auto endTime = std::chrono::high_resolution_clock::now();
        auto duration = std::chrono::duration_cast<std::chrono::milliseconds>(endTime - startTime).count();
        std::cout << "1G writing cost: " << duration << " ms" << std::endl;
    }

    system("pause");
    return 0;
}

所以我想问一下，C ++是否有更快的写入方法来写入大文件？或者，为什么我的编写速度不能达到CrystalDiskMark测试的速度？ CrystalDiskMark如何写？

任何帮助将不胜感激。谢谢！

Answer 1

这些是我想到的建议：

停止所有正在使用磁盘的正在运行的进程，尤其是
- 禁用Windows Defender实时保护（或其他防病毒/恶意软件）
- 禁用页面文件
使用Windows资源监视器查找可读写磁盘的进程
确保在磁盘上写入连续的扇区
不考虑文件的打开和关闭时间
请勿使用多线程（您的磁盘正在使用DMA，因此CPU无关紧要）
（显然）写入RAM中的数据
在构建（构建发行版）时，请确保禁用所有调试功能
如果使用M.2 PCIe磁盘（似乎是您的情况），请确保其他PCIe 设备没有将PCIe通道窃取到磁盘（CPU有一个数量有限，主板也是如此）
不要在您的IDE中运行测试
禁用Windows文件索引

最后，您可以在此问题的线程中找到有关如何使用C / C ++编写快速写代码的良好提示：Writing a binary file in C++ very fast

Answer 2

首先，这不是 c ++ 问题，而是与操作系统相关的问题。为了获得最佳性能，需要使用特定于操作系统的低级api调用，这在一般的 c ++ 库中不存在。从代码中清楚可见，您正在使用Windows API，因此搜索Windows的解决方案的最低要求。

来自CreateFileW函数：

将FILE_FLAG_NO_BUFFERING与FILE_FLAG_OVERLAPPED结合使用时，这些标志可提供最大的异步性能，因为I / O可以不依赖于内存管理器的同步操作。

因此我们需要在呼叫CreateFileW或呼叫NtCreateFile的呼叫NtSetInformationFile中使用这两个标志的组合

还会延长文件大小和有效数据长度，这需要花费一些时间，因此如果知道开始时的最终文件会更好-仅通过FileEndOfFileInformation和SetFileInformationByHandle设置文件的最终大小或通过FileEndOfFileInfo和SetFileValidData。然后使用NtSetInformationFile或使用FileValidDataLengthInformation通过SetFileValidData来设置有效数据长度。设置有效数据长度要求最初打开文件时启用FILE_NO_INTERMEDIATE_BUFFERING特权（但在调用FSCTL_SET_COMPRESSION时未启用）

还要寻找文件压缩-如果文件被压缩（如果在压缩文件夹中创建，则默认情况下将被压缩），这是非常慢的写操作。因此需要通过Buffering I/O

压缩文件

然后，当我们使用异步I / O（最快的方式）时，我们不需要创建几个专用线程。相反，我们需要确定并发运行的I / O请求数。如果您使用 CrystalDiskMark ，它实际上会运行 CdmResource \ diskspd \ diskspd64.exe 进行测试，并且这与 SE_MANAGE_VOLUME_NAME 参数相对应（运行-o<count>获取外观参数列表）。

使用非NtQueryInformationFile会使任务更加困难，因为存在3个附加要求：

传递给WriteFile的任何ByteOffset必须是扇区的倍数大小。
传递给WriteFile的Length必须是扇区的整数大小
必须根据对齐要求对齐缓冲区基础设备。要获取此信息，请致电 FileAlignmentInformation与GetFileInformationByHandleEx 或FileAlignmentInfo与YMMV

在大多数情况下，与页面对齐的内存也将与扇区对齐，因为扇区大小大于页面大小的情况是稀有。

因此几乎总是分配有VirtualAlloc函数并且多个页面大小（4,096 bytes）的缓冲区都可以。在针对较小代码大小的具体测试中，我使用了这个假设

diskspd64.exe /? > h.txt

Answer 3

可能会给您带来改进的一个方面是使线程不断运行，并且每次从队列中读取数据。

每次您编写时，都会生成4个线程（速度很慢），然后在函数末尾对其进行解构。如果在启动时产生线程，并使它们全部在无限循环中从单独的队列中读取，则至少可以看到函数的cpu时间加速。

他们会在一个很小的延迟后简单地检查队列中是否有任何内容，如果是，他们会全部写入。然后，您唯一的问题就是确保数据顺序得到维护。

如何将C ++写入速度提高到CrystalDiskMark测试的速度？

3 个答案: