Question

Linux操作系统中是否有用于从虚拟地址确定物理地址的API？

Answer 1

内核和用户空间使用由内存管理硬件映射到物理地址的虚拟地址（也称为线性地址）。此映射由页面表定义，由操作系统设置。

DMA设备使用总线地址。在i386 PC上，总线地址与物理地址相同，但其他架构可能具有特殊的地址映射硬件，可将总线地址转换为物理地址。

在Linux中，您可以使用asm/io.h：

中的这些功能

virt_to_phys（到virt_addr_size）;
phys_to_virt（phys_addr）;
virt_to_bus（到virt_addr_size）;
bus_to_virt（bus_addr）;

所有这些都是关于访问普通内存。 PCI或ISA总线上还有“共享内存”。它可以使用ioremap（）在32位地址空间内映射，然后通过readb（），writeb（）（等）函数使用。

生活变得复杂，因为周围有各种缓存，因此访问相同物理地址的不同方式不需要提供相同的结果。

此外，虚拟地址背后的真实物理地址可能会发生变化。甚至更多 - 在您访问该内存之前，可能没有与虚拟地址关联的地址。

至于用户土地API，没有我所知道的。

Answer 2

如前所述，普通程序不需要担心物理地址，因为它们在虚拟地址空间中运行并具有所有便利性。此外，并非每个虚拟地址都具有物理地址，可以属于映射文件或交换页面。但是，有时看到这种映射可能会很有趣，即使在用户区也是如此。

为此，Linux内核通过/proc中的一组文件将其映射公开给userland。可以找到文档here。简短摘要：

/proc/$pid/maps提供虚拟地址映射列表以及其他信息，例如映射文件的相应文件。
/proc/$pid/pagemap提供有关每个映射页面的更多信息，包括物理地址（如果存在）。

This website提供了一个C程序，它使用该接口转储所有正在运行的进程的映射，并解释它的作用。

Answer 3

/proc/<pid>/pagemap userland minimal runnable example

virt_to_phys_user.c：

#define _XOPEN_SOURCE 700
#include <fcntl.h> /* open */
#include <stdint.h> /* uint64_t  */
#include <stdio.h> /* printf */
#include <stdlib.h> /* size_t */
#include <unistd.h> /* pread, sysconf */

typedef struct {
    uint64_t pfn : 54;
    unsigned int soft_dirty : 1;
    unsigned int file_page : 1;
    unsigned int swapped : 1;
    unsigned int present : 1;
} PagemapEntry;

/* Parse the pagemap entry for the given virtual address.
 *
 * @param[out] entry      the parsed entry
 * @param[in]  pagemap_fd file descriptor to an open /proc/pid/pagemap file
 * @param[in]  vaddr      virtual address to get entry for
 * @return 0 for success, 1 for failure
 */
int pagemap_get_entry(PagemapEntry *entry, int pagemap_fd, uintptr_t vaddr)
{
    size_t nread;
    ssize_t ret;
    uint64_t data;
    uintptr_t vpn;

    vpn = vaddr / sysconf(_SC_PAGE_SIZE);
    nread = 0;
    while (nread < sizeof(data)) {
        ret = pread(pagemap_fd, &data, sizeof(data) - nread,
                vpn * sizeof(data) + nread);
        nread += ret;
        if (ret <= 0) {
            return 1;
        }
    }
    entry->pfn = data & (((uint64_t)1 << 54) - 1);
    entry->soft_dirty = (data >> 54) & 1;
    entry->file_page = (data >> 61) & 1;
    entry->swapped = (data >> 62) & 1;
    entry->present = (data >> 63) & 1;
    return 0;
}

/* Convert the given virtual address to physical using /proc/PID/pagemap.
 *
 * @param[out] paddr physical address
 * @param[in]  pid   process to convert for
 * @param[in] vaddr virtual address to get entry for
 * @return 0 for success, 1 for failure
 */
int virt_to_phys_user(uintptr_t *paddr, pid_t pid, uintptr_t vaddr)
{
    char pagemap_file[BUFSIZ];
    int pagemap_fd;

    snprintf(pagemap_file, sizeof(pagemap_file), "/proc/%ju/pagemap", (uintmax_t)pid);
    pagemap_fd = open(pagemap_file, O_RDONLY);
    if (pagemap_fd < 0) {
        return 1;
    }
    PagemapEntry entry;
    if (pagemap_get_entry(&entry, pagemap_fd, vaddr)) {
        return 1;
    }
    close(pagemap_fd);
    *paddr = (entry.pfn * sysconf(_SC_PAGE_SIZE)) + (vaddr % sysconf(_SC_PAGE_SIZE));
    return 0;
}

int main(int argc, char **argv)
{
    pid_t pid;
    uintptr_t vaddr, paddr = 0;

    if (argc < 3) {
        printf("Usage: %s pid vaddr\n", argv[0]);
        return EXIT_FAILURE;
    }
    pid = strtoull(argv[1], NULL, 0);
    vaddr = strtoull(argv[2], NULL, 0);
    if (virt_to_phys_user(&paddr, pid, vaddr)) {
        fprintf(stderr, "error: virt_to_phys_user\n");
        return EXIT_FAILURE;
    };
    printf("0x%jx\n", (uintmax_t)paddr);
    return EXIT_SUCCESS;
}

GitHub upstream

用法：

sudo ./virt_to_phys_user.out <pid> <physical-address>

即使您拥有文件权限，也必须

sudo才能阅读/proc/<pid>/pagemap，如下所述：https://unix.stackexchange.com/questions/345915/how-to-change-permission-of-proc-self-pagemap-file/383838#383838

如上所述：https://stackoverflow.com/a/46247716/895245 Linux懒惰地分配页表，因此在使用virt_to_phys_user之前，请确保从测试程序中读取和写入该地址的字节。

如何测试

测试程序：

#define _XOPEN_SOURCE 700
#include <stdint.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

enum { I0 = 0x12345678 };

static volatile uint32_t i = I0;

int main(void) {
    printf("vaddr %p\n", (void *)&i);
    printf("pid %ju\n", (uintmax_t)getpid());
    while (i == I0) {
        sleep(1);
    }
    printf("i %jx\n", (uintmax_t)i);
    return EXIT_SUCCESS;
}

测试程序输出它拥有的变量的地址及其PID，例如：

vaddr 0x600800
pid 110

然后你可以通过以下方式传递虚拟地址：

sudo ./virt_to_phys_user.out 110 0x600800

最后，可以使用/dev/mem来观察/修改内存来测试转换，但是你无法在Ubuntu 17.04上执行此操作而无需根据需要重新编译内核：CONFIG_STRICT_DEVMEM=n，另请参阅：How to access physical addresses from user space in Linux? Buildroot is an easy way以克服这个问题。

或者，您可以使用QEMU监视器xp命令等虚拟机：How to decode /proc/pid/pagemap entries in Linux?

请参阅此内容以转储所有页面：How to decode /proc/pid/pagemap entries in Linux?

此问题的Userland子集：How to find the physical address of a variable from user-space in Linux?

使用/proc/<pid>/maps

转储所有流程页面

/proc/<pid>/maps列出了流程的所有地址范围，因此我们可以将其转换为翻译所有网页：/proc/[pid]/pagemaps and /proc/[pid]/maps | linux

Kerneland virt_to_phys仅适用于kmalloc地址

已提到内核模块virt_to_phys。

然而，重要的是强调它有这个限制。

E.g。模块变量失败了。 arc/x86/include/asm/io.h文档：

返回的物理地址是物理（CPU）映射给出的内存地址。只有在使用此功能时才有效通过kmalloc直接映射或分配的地址。

以下是a kernel module that illustrates that和userland test。

所以这不是一般的可能性。有关内核模块方法，请参阅：How to get the physical address from the logical one in a Linux kernel module?。

Answer 4

上面建议的C程序通常有效，但它可以（至少）两种方式返回误导性结果：

页面不存在（但虚拟地址映射到页面！）。这是由于操作系统的延迟映射造成的：它仅在实际访问时才映射地址。
返回的PFN指向一些可能临时的物理页面，由于写入时复制，可能很快就会更改。例如：对于内存映射文件，PFN可以指向只读副本。对于匿名映射，映射中所有页面的PFN可以是一个特定的只读页面，其中包含0（写入时所有匿名页面都会生成）。

底线是，为了确保更可靠的结果：用于只读映射，在查询其PFN之前至少从每个页面读取一次。对于支持写入的页面，在查询其PFN之前至少写入每个页面一次。

当然，理论上，即使在获得了稳定的＆＃34; PFN，映射总是可以在运行时任意改变（例如，当将页面移入和移出交换时），不应该依赖它。

Answer 5

我想知道为什么没有用户土地API。

因为用户的陆地记忆的物理地址是未知的。

Linux使用需求分页来处理用户内存。在访问之前，您的用户land对象将没有物理内存。当系统内存不足时，您的用户登陆对象可能会被换出并丢失物理内存，除非该页面被锁定。当您再次访问该对象时，它将被交换并给出物理内存，但它可能与前一个物理内存不同。您可以拍摄页面映射的快照，但不能保证在下一刻保持相同。

因此，寻找用户土地对象的物理地址通常是没有意义的。

是否有任何API用于确定Linux中虚拟地址的物理地址？

5 个答案: