是否可以知道哪些SciPy / NumPy功能在多个内核上运行?

时间:2011-08-04 12:33:02

标签: python multiprocess

我试图明确地弄清楚SciPy / NumPy中的哪些函数在多个处理器上运行。我可以,例如在SciPy参考手册中读到SciPy使用它,但我更感兴趣的是确切地说哪些函数运行并行计算,因为并非所有函数都可以。当你输入帮助(SciPy.foo)时,梦想场景当然会被包括在内,但事实并非如此。

非常感谢任何帮助。

最佳,

的Matias

1 个答案:

答案 0 :(得分:4)

我认为问题最好是针对您使用的BLAS / LAPACK库而不是SciPy / NumPy。

某些BLAS / LAPACK库(例如MKL)本身使用多个核心,其他实现可能不会。

scipy.linalg.solve为例,这里是它的源代码(为清楚起见省略了一些错误处理代码):

def solve(a, b, sym_pos=0, lower=0, overwrite_a=0, overwrite_b=0,
          debug = 0):
    if sym_pos:
        posv, = get_lapack_funcs(('posv',),(a1,b1))
        c,x,info = posv(a1,b1,
                        lower = lower,
                        overwrite_a=overwrite_a,
                        overwrite_b=overwrite_b)
    else:
        gesv, = get_lapack_funcs(('gesv',),(a1,b1))
        lu,piv,x,info = gesv(a1,b1,
                             overwrite_a=overwrite_a,
                             overwrite_b=overwrite_b)

    if info==0:
        return x
    if info>0:
        raise LinAlgError, "singular matrix"
    raise ValueError,\
          'illegal value in %-th argument of internal gesv|posv'%(-info)

正如您所看到的,它只是围绕两个LAPACK函数系列的一个薄包装(以DPOSVDGESV为例)。

SciPy级别没有并行性,但您在系统上观察到使用多个核心的功能。唯一可能的解释是您的LAPACK库能够使用多个核心,没有NumPy / SciPy做任何事情来实现这一目标