从共享内存(多处理)中的数组缓冲区形成numpy数组失败

时间:2014-04-10 22:30:02

标签: python numpy multidimensional-array multiprocessing

我需要在两个进程之间的共享内存中有一个多维数组。我正在尝试创建一个有效的简单示例:我将[1, 2, 3, 4, 5, 6, 7, 8, 9]发送到另一个进程,该进程将其重新整形为[[1, 2, 3], [4, 5, 6], [7, 8, 9]]而不占用额外的内存。

import multiprocessing
import ctypes
import numpy


def f(array):
    nmp = numpy.frombuffer(array.get_obj(), dtype=int)
    b = nmp.reshape((3, 3))


if __name__ == '__main__':
    time_array = []
    import common_lib
    common_lib.time_usage(time_array)
    arr = multiprocessing.Array(ctypes.c_int, [1,2,3,4,5,6,7,8,9])
    p = multiprocessing.Process(target=f, args=(arr,))
    p.start()
    p.join()

我完全按照手册中的说法完成。但是函数frombuffer给出了这个错误:

  

ValueError:缓冲区大小必须是元素大小的倍数

1 个答案:

答案 0 :(得分:9)

numpy数组的dtype需要显式设置为32位整数。

nmp = numpy.frombuffer(array.get_obj(), dtype="int32")

如果您使用的是64位计算机,则可能是您尝试将32位ctypes数组转换为64位numpy数组。