Question

我正在尝试对一个巨大的文件（大约100GB）进行内存映射，以便存储具有数十亿个键值对的B树。内存很小，以便将所有数据保存在内存中，因此我试图从磁盘映射文件，而不是使用malloc，我返回并递增指向映射区域的指针。

#define MEMORY_SIZE 300000000

unsigned char *mem_buffer;
void *start_ptr;

void *my_malloc(int size) {
    unsigned char *ptr = mem_buffer;
    mem_buffer += size;

    return ptr;
}

void *my_calloc(int size, int object_size) {
    unsigned char *ptr = mem_buffer;
    mem_buffer += (size * object_size);

    return ptr;
}

void init(const char *file_path) {
    int fd = open(file_path, O_RDWR, S_IREAD | S_IWRITE);

    if (fd < 0) {
        perror("Could not open file for memory mapping");
        exit(1);
    }

    start_ptr = mmap(NULL, MEMORY_SIZE, PROT_READ | PROT_WRITE, MAP_PRIVATE, fd, 0);
    mem_buffer = (unsigned char *) start_ptr;

    if (mem_buffer == MAP_FAILED) {
        perror("Could not memory map file");
        exit(1);
    }

    printf("Successfully mapped file.\n");
}

void unmap() {
    if (munmap(start_ptr, MEMORY_SIZE) < 0) {
        perror("Could not unmap file");
        exit(1);
    }

    printf("Successfully unmapped file.\n");
}

主要方法：

int main(int argc, char **argv) {

    init(argv[1]);

    unsigned char *arr = (unsigned char *) my_malloc(6);
    arr[0] = 'H';
    arr[1] = 'E';
    arr[2] = 'L';
    arr[3] = 'L';
    arr[4] = 'O';
    arr[5] = '\0';

    unsigned char *arr2 = (unsigned char *) my_malloc(5);
    arr2[0] = 'M';
    arr2[1] = 'I';
    arr2[2] = 'A';
    arr2[3] = 'U';
    arr2[4] = '\0';

    printf("Memory mapped string1: %s\n", arr);
    printf("Memory mapped string2: %s\n", arr2);

    struct my_btree_node *root = NULL;

    insert(&root, arr, 10);
    insert(&root, arr2, 20);

    print_tree(root, 0, false);

//  cin.ignore();

    unmap();

    return EXIT_SUCCESS;
}

问题是，如果请求的大小大于实际内存，我会收到Cannot allocate memory（ errno是12 ），如果请求的空间超出实际内存，则会收到Segmentation fault映射区域。有人告诉我，可以映射大于实际内存的文件。

系统会自行管理文件，还是只负责映射可用内存量，当访问更多空间时，我必须取消映射并映射到另一个偏移量。

谢谢

修改

OS：Ubuntu 14.04 LTS x86_64

bin / washingMachine：ELF 64位LSB可执行文件，x86-64，版本1（SYSV），动态链接（使用共享库），用于GNU / Linux 2.6.24，BuildID [sha1] = 9dc831c97ce41b0c6a77b639121584bf76deb47d，未剥离< / p>

Answer 1

首先，确保在64位模式下运行64位CPU。在32位CPU上，进程的地址空间仅为2 ³²字节（4千兆字节），并且无法同时将100 GB整合到所有内容中 - 没有足够的地址。（此外，该地址空间的一大块将被其他映射使用或由内核保留。）

其次，即使映射适合地址空间，也可能会出现问题。映射到您的进程的内存（这也包括例如您的程序的代码和数据段，以及共享库的同上）被分成 pages 的单元（通常每个4 KB大） x86），其中每个页面都需要内核中的一些元数据和MMU。这是另一种在创建大量内存映射时可能会耗尽的资源。

根据Mmap() an entire large file的建议，您可以尝试使用MAP_SHARED。这可能允许内核在访问映射时懒惰地为映射分配内存，因为它知道如果内存不足，它总是可以将页面交换到磁盘上的文件。对于MAP_PRIVATE，内核需要在每次修改页面时分配一个新页面（因为不应该进行更改），如果系统内存和交换耗尽，这样做是不安全的。

在分配比物理内存更多的内存时，您可能还需要将MAP_NORESERVE传递给mmap()，或者将/proc/sys/vm/overcommit_memory（请参阅proc(5)）设置为1（这是因为在整个系统范围内有点难看）。

在我的系统上，与您的系统类似，具有8 GB的RAM和8 GB的交换，仅MAP_SHARED就足以mmap()一个40 GB的文件。 MAP_PRIVATE以及MAP_NORESERVE也可以使用。

如果这不起作用，那么您可能会遇到与MMU相关的限制。许多现代CPU架构都支持huge pages，这些页面大于默认页面大小。大页面的要点是您需要更少的页面来映射相同数量的内存（假设大型映射），这样可以减少元数据的数量，并可以提高地址转换和上下文切换的效率。当只使用一小部分页面时，巨大页面的缺点是减少了映射粒度和增加的浪费（内部碎片）。

配对MAP_SHARED和一些带有大页面的随机文件不太可能顺便使用（如果MAP_SHARED不足以解决问题）。该文件需要位于hugetlbfs。

使用大页面将MAP_HUGETLB传递给mmap()请求分配（尽管它可能仅适用于匿名映射，其中seems现在许多系统上的大页面应该是自动的）。您可能还需要使用/proc/sys/vm/nr_hugepages和/proc/sys/vm/nr_overcommit_hugepages进行调整 - 请参阅this thread和内核源代码中的Documentation/vm/hugetlbpage.txt文件。

顺便提一下，在编写自己的内存分配器时要注意对齐问题。我希望这不是太多插件，但请参阅this answer。

作为旁注，您从内存映射文件访问的任何内存必须实际存在于文件中。如果文件小于映射，并且您希望能够访问＆＃34; extra＆＃34;在内存中，您可以使用ftruncate(2)来扩展文件。（如果文件系统支持带有文件漏洞的sparse files，这实际上可能不会在磁盘上大大增加它的大小。）

Answer 2

在不知道您使用的操作系统的情况下，我最好的猜测是您的操作系统不允许无限制地过度使用内存，或者对MAP_PRIVATE进行RLIMIT_DATA映射计数} ulimit。两者都意味着您的代码无法正常工作。

你基本上用mmap告诉MAP_PRIVATE的是＆＃34;映射这个文件，但是我在映射区域做的任何更改都将它们视为此程序中的本地内存分配＆＃34; 。在这种情况下映射文件的技巧是，如果内存不足，您将允许操作系统将页面写入磁盘。因为你告诉操作系统它不允许写出来，所以不能这样做。

解决方案是使用MAP_SHARED，但请确保您了解mmap的手册页以及MAP_SHARED的内容。另外，请确保您只映射文件大小，或者ftruncate文件尽可能大。

另外，请阅读有关length参数的mmap手册页。某些操作系统允许大小不是页面大小的倍数，但这非常不可移植，将您的大小调整到页面大小。

C - 内存映射B树

2 个答案: