Question

我正在调查共享内存上的Linux内核限制

/proc/sys/kernel/shmall

指定可以分配的最大页面数。将此数字视为x，将页面大小视为p。我认为＆＃34; x * p＆＃34; bytes是系统范围共享内存的限制。

现在我写了一个小程序来创建一个共享内存段，并且我连接到该共享内存段两次，如下所示

shm_id = shmget(IPC_PRIVATE, 4*sizeof(int), IPC_CREAT | 0666);

if (shm_id < 0) {
    printf("shmget error\n");
    exit(1);
}
printf("\n The shared memory created is %d",shm_id);

ptr = shmat(shm_id,NULL,0);
ptr_info = shmat(shm_id,NULL,0);

在上面的程序ptr和ptr_info中有所不同。因此共享内存映射到我的进程地址空间中的2个虚拟地址。

当我执行ipcs时，它看起来像这样

...
0x00000000 1638416    sun        666        16000000   2 
...

现在我的问题中出现了上面提到的shmall限制x * p。此限制是否适用于为每个共享内存段分配的所有虚拟内存的总和？或者此限制是否适用于物理内存？

物理内存在这里只是一个（共享内存），当我执行2 shmat时，上面的程序中有两倍的内存分配在我的进程地址空间中。如果在单个共享内存段上连续shmat，这个限制很快就会出现？

Answer 1

我在do_shmat函数（linux / ipc / shm.c）中找不到任何物理内存分配

https://github.com/torvalds/linux/blob/5469dc270cd44c451590d40c031e6a71c1f637e8/ipc/shm.c

所以shmat只消耗vm（你的进程地址空间）， shmat的主要功能是mmap

Answer 2

该限制仅适用于物理内存，即为所有段分配的真实共享内存，因为shmat()只是将分配的段映射到进程地址空间。

您可以在内核中跟踪它，只有一个地方可以检查此限制 - 在newseg() function中分配新的分段（ns->shm_ctlall比较）。 shmat() implementation忙于处理很多东西，但根本不关心shmall限制，所以你可以根据需要多次映射一个段（好吧，地址空间也是有限的，但实际上你很少关心这个限制。）

您还可以使用像这样的简单程序从用户空间尝试一些测试：

#define _GNU_SOURCE
#include <errno.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/ipc.h>
#include <sys/shm.h>
#include <unistd.h>

unsigned long int get_shmall() {
        FILE *f = NULL;
        char buf[512];
        unsigned long int value = 0;

        if ((f = fopen("/proc/sys/kernel/shmall", "r")) != NULL) {
                if (fgets(buf, sizeof(buf), f) != NULL)
                        value = strtoul(buf, NULL, 10); // no proper checks                                                                                                                                                             
                fclose(f); // no return value check                                                                                                                                                                                     
        }
        return value;
}

int set_shmall(unsigned long int value) {
        FILE *f = NULL;
        char buf[512];
        int retval = 0;

        if ((f = fopen("/proc/sys/kernel/shmall", "w")) != NULL) {
                if (snprintf(buf, sizeof(buf), "%lu\n", value) >= sizeof(buf) ||
                    fwrite(buf, 1, strlen(buf), f) != strlen(buf))
                        retval = -1;
                fclose(f); // fingers crossed                                                                                                                                                                                           
        } else
                retval = -1;
        return retval;
}

int main()
{
        int shm_id1 = -1, shm_id2 = -1;
        unsigned long int shmall = 0, shmused, newshmall;
        void *ptr1, *ptr2;
        struct shm_info shminf;

        if ((shmall = get_shmall()) == 0) {
                printf("can't get shmall\n");
                goto out;
        }
        printf("original shmall: %lu pages\n", shmall);
        if (shmctl(0, SHM_INFO, (struct shmid_ds *)&shminf) < 0) {
                printf("can't get SHM_INFO\n");
                goto out;
        }
        shmused = shminf.shm_tot * getpagesize();
        printf("shmused: %lu pages (%lu bytes)\n", shminf.shm_tot, shmused);
        newshmall = shminf.shm_tot + 1;
        if (set_shmall(newshmall) != 0) {
                printf("can't set shmall\n");
                goto out;
        }
        if (get_shmall() != newshmall) {
                printf("something went wrong with shmall setting\n");
                goto out;
        }
        printf("new shmall: %lu pages (%lu bytes)\n", newshmall, newshmall * getpagesize());
        printf("shmget() for %u bytes: ", (unsigned int) getpagesize());
        shm_id1 = shmget(IPC_PRIVATE, (size_t)getpagesize(), IPC_CREAT | 0666);
        if (shm_id1 < 0) {
                printf("failed: %s\n", strerror(errno));
                goto out;
        }
        printf("ok\nshmat 1: ");
        ptr1 = shmat(shm_id1, NULL, 0);
        if (ptr1 == 0) {
                printf("failed\n");
                goto out;
        }
        printf("ok\nshmat 2: ");
        ptr2 = shmat(shm_id1, NULL, 0);
        if (ptr2 == 0) {
                printf("failed\n");
                goto out;
        }
        printf("ok\n");
        if (ptr1 == ptr2) {
                printf("ptr1 and ptr2 are the same with shm_id1\n");
                goto out;
        }
        printf("shmget() for %u bytes: ", (unsigned int) getpagesize());
        shm_id2 = shmget(IPC_PRIVATE, (size_t)getpagesize(), IPC_CREAT | 0666);
        if (shm_id2 < 0)
                printf("failed: %s\n", strerror(errno));
        else
                printf("ok, although it's wrong\n");
out:
        if (shmall != 0 && set_shmall(shmall) != 0)
                printf("failed to restrore shmall\n");

        if (shm_id1 >= 0 && shmctl(shm_id1, IPC_RMID, NULL) < 0)
                printf("failed to remove shm_id1\n");

        if (shm_id2 >= 0 && shmctl(shm_id2, IPC_RMID, NULL) < 0)
                printf("failed to remove shm_id2\n");

        return 0;
}

它的作用是将shmall限制设置为比系统当前使用的页面高一页，然后尝试获取页面大小的新段并将其映射两次（全部成功），然后尝试获取一个页面大小的段并没有这样做（以超级用户身份执行该程序，因为它写入/proc/sys/kernel/shmall）：

$ sudo ./a.out 
original shmall: 18446744073708503040 pages
shmused: 21053 pages (86233088 bytes)
new shmall: 21054 pages (86237184 bytes)
shmget() for 4096 bytes: ok
shmat 1: ok
shmat 2: ok
shmget() for 4096 bytes: failed: No space left on device

共享内存的限制如何在Linux上运行

2 个答案: