使用共享内存

时间:2016-01-19 16:26:08

标签: python c numpy shared-memory

我在内存中有一个n-n numpy数组

>>> x = np.arange(5)

我想在使用共享内存的同一台计算机上使用独立且独立(非分叉)的C进程共享此数据。

我期望做类似以下的事情:

  1. 从Python
  2. 中分配新的共享内存块
  3. 将当前数据复制到该块
  4. 获取数组的dtype,length和全局地址,并将它们传递给C进程(现在,我们将通过命令行界面传递给C进程)
  5. 在C中创建一个适当类型的指针到内存地址
  6. 在C
  7. 中做一些微不足道的计算

    实现这些步骤的最佳方法是什么?似乎有几种Python解决方案可以在共享内存中分配数组数据。我可以找到的所有示例都涉及在两个Python进程之间共享,而不是在Python和另一种语言之间共享。

    非常欢迎极少数例子。

1 个答案:

答案 0 :(得分:2)

这是一个最小的例子:

的Python

import os

import posix_ipc
import numpy as np

x = np.arange(1000, dtype='i4')
f = posix_ipc.SharedMemory('test', flags=posix_ipc.O_CREAT, size=x.nbytes, read_only=False)

ff = os.fdopen(f.fd, mode='wb')
ff.write(x.data)
ff.close()  # flush doesn't work, but this does.

C

// shm.c
#include <stdlib.h>
#include <stdio.h>
#include <fcntl.h>
#include <sys/mman.h>

int main(int argc, char *argv[])
{
    int i, fd;
    int *data;

    fd = shm_open("test", O_RDONLY, 0);
    if (fd == -1)
        printf("Error!, bad file desciptor");

    data = mmap(NULL, sizeof(int), PROT_READ, MAP_PRIVATE, fd, 0);
    if (data == MAP_FAILED)
        printf("Error!, map failed!");

    for(i = 0; i < 1000; i++){
        printf("%d, ", (int)data[i]);
    }
    return 0;
}

$ gcc shm.c -lrt -o shm
$ ./shm 
0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, ...