Python，使用多处理来进一步加速cython功能

Question

此处显示的代码简化但触发相同的PicklingError。我知道有很多关于什么能够和不能被腌制的讨论，但我确实找到了他们的解决方案。

我用以下函数编写了一个简单的cython脚本：

def pow2(int a) : 
    return a**2 

编译工作正常，我可以用python脚本调用这个函数。

但是，我想知道如何在多处理中使用此功能，

from multiprocessing import Pool
from fast import pow2
p = Pool(processes =4 )
y = p.map( pow2, np.arange( 10, dtype=int))

给我一​​个PicklingError：

dtw是包的名称，fast是fast.pyx。

如何解决这个问题？ 提前致谢

Answer 1

而不是使用multiprocessing，这意味着由于pickling过程而在磁盘上写入数据，您可以使用OpenMP包装器prange。在您的情况下，您可以使用它，如下所示。

• 请注意使用x*x代替x**2，避免使用函数调用pow(x, 2)）：
• 使用double指针
将数组的一部分传递给每个线程
• 最后一个帖子在size % num_threads != 0
时需要更多值

代码：

#cython: wraparound=False
#cython: boundscheck=False
#cython: cdivision=True
#cython: nonecheck=False
#cython: profile=False
import numpy as np
cimport numpy as np
from cython.parallel import prange

cdef void cpow2(int size, double *inp, double *out) nogil:
    cdef int i
    for i in range(size):
        out[i] = inp[i]*inp[i]

def pow2(np.ndarray[np.float64_t, ndim=1] inp,
         np.ndarray[np.float64_t, ndim=1] out,
         int num_threads=4):
    cdef int thread
    cdef np.ndarray[np.int32_t, ndim=1] sub_sizes, pos
    size = np.shape(inp)[0]
    sub_sizes = np.zeros(num_threads, np.int32) + size//num_threads
    pos = np.zeros(num_threads, np.int32)
    sub_sizes[num_threads-1] += size % num_threads
    pos[1:] = np.cumsum(sub_sizes)[:num_threads-1]
    for thread in prange(num_threads, nogil=True, chunksize=1,
                         num_threads=num_threads, schedule='static'):
        cpow2(sub_sizes[thread], &inp[pos[thread]], &out[pos[thread]])

def main():
    a = np.arange(642312323).astype(np.float64)
    pow2(a, out=a, num_threads=4)