Question

我想知道一个巨大文件的哪个部分缓存在内存中。我正在使用来自fincore的一些代码，它以这种方式工作：文件是mmaped，然后fincore循环遍历地址空间并使用mincore检查页面，但由于文件很长（几分钟）大小（几TB）。

有没有办法循环使用过的RAM页面呢？它会快得多，但这意味着我应该从某个地方获取已使用页面的列表......但是我找不到一个方便的系统调用来实现这一点。

代码如下：

#include <errno.h> 
#include <fcntl.h> 
#include <stdio.h> 
#include <stdlib.h> 
#include <string.h> 
#include <sys/stat.h> 
#include <sys/types.h> 
#include <unistd.h> 
/* } */

#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/mman.h>
#include <sys/sysinfo.h>


void
fincore(char *filename) {
   int fd;
   struct stat st;

   struct sysinfo info;
   if (sysinfo(& info)) {
    perror("sysinfo");
    return;
   }

   void *pa = (char *)0;
   char *vec = (char *)0;
   size_t pageSize = getpagesize();
   register size_t pageIndex;

   fd = open(filename, 0);
   if (0 > fd) {
      perror("open");
      return;
   }

   if (0 != fstat(fd, &st)) {
      perror("fstat");
      close(fd);
      return;
   }

   pa = mmap((void *)0, st.st_size, PROT_NONE, MAP_SHARED, fd, 0);
   if (MAP_FAILED == pa) {
      perror("mmap");
      close(fd);
      return;
   }

   /* vec = calloc(1, 1+st.st_size/pageSize); */
   /* 2.2 sec for 8 TB */
   vec = calloc(1, (st.st_size+pageSize-1)/pageSize);
   if ((void *)0 == vec) {
      perror("calloc");
      close(fd);
      return;
   }

    /* 48 sec for 8 TB */
   if (0 != mincore(pa, st.st_size, vec)) {
      fprintf(stderr, "mincore(%p, %lu, %p): %s\n",
              pa, (unsigned long)st.st_size, vec, strerror(errno));
      free(vec);
      close(fd);
      return;
   }

   /* handle the results */
   /* 2m45s for 8 TB */
   for (pageIndex = 0; pageIndex <= st.st_size/pageSize; pageIndex++) {
      if (vec[pageIndex]&1) {
         printf("%zd\n", pageIndex);
      }
   }

   free(vec);
   vec = (char *)0;

   munmap(pa, st.st_size);
   close(fd);

   return;
}

int main(int argc, char *argv[]) {
    fincore(argv[1]);

    return 0;
}

Answer 1

表示列表所需的信息量，对于悲观情况，当所有或几乎所有页面确实在RAM中时，远高于位图 - 每个条目至少64比1比特。如果有这样的API，当查询它的20亿页时，你必须准备好在回复中获得16 GB的数据。此外，处理可变长度结构（如列表）比处理固定长度数组更复杂，因此库函数（尤其是低级系统函数）往往可以避免麻烦。

我也不太确定实现（在这种情况下操作系统如何与TLB和Co交互），但很可能（除了大小差异）填写位图可以比创建位图更快地执行列表由于操作系统和硬件级结构而提取信息。

如果您不关心细粒度，可以查看/proc/<PID>/smaps。对于每个映射区域，它显示一些统计信息，包括加载到内存中的数量（Rss字段）。如果为了调试，您使用单独的mmap()调用映射文件的某些区域（除了用于执行实际任务的主映射），您可能会在smaps和{{1}}中获得单独的条目因此，请看这些地区的单独统计数据你几乎肯定无法在不杀死你的系统的情况下制作数十亿的映射，但如果文件结构良好，可能只有几十个精心挑选的区域可以帮助你找到你想要的答案。

Answer 2

由谁缓存？

在启动后考虑文件位于磁盘上。其中没有一部分存在于记忆中。

现在打开文件并执行随机读取。

文件系统（例如内核）将进行缓存。

C标准库将进行缓存。

内核将在内核模式内存中缓存，即用户模式内存中的C标准库。

如果您可以发出查询，也可以在查询之后立即查询 - 在它返回给您之前 - 从缓存中删除相关的缓存数据。

Linux：识别内存中的页面

2 个答案: