Python,与joblib并行化:使用多个参数延迟

时间:2016-10-21 21:37:49

标签: python parallel-processing delay joblib

我正在使用类似于以下的东西来并行化两个矩阵的for循环

from joblib import Parallel, delayed
import numpy

def processInput(i,j):
    for k in range(len(i)):
        i[k] = 1
    for t in range(len(b)):
        j[t] = 0
return i,j

a = numpy.eye(3)
b = numpy.eye(3)

num_cores = 2
(a,b) = Parallel(n_jobs=num_cores)(delayed(processInput)(i,j) for i,j in zip(a,b))

但是我收到以下错误:解压缩的值太多(预期2)

有没有办法在延迟时返回2个值?或者你会提出什么解决方案?

另外,有点OP,是否有更紧凑的方式,如下所示(实际上没有修改任何东西)来处理矩阵?

from joblib import Parallel, delayed
def processInput(i,j):
    for k in i:
        k = 1
    for t in b:
        t = 0
return i,j

我想避免使用has_shareable_memory,以避免在实际脚本中出现可能的错误交互并降低性能(?)

1 个答案:

答案 0 :(得分:8)

可能为时已晚,但作为对问题第一部分的回答: 只需在延迟函数中返回一个元组。

return (i,j)

对于保存所有延迟函数输出的变量

results = Parallel(n_jobs=num_cores)(delayed(processInput)(i,j) for i,j in zip(a,b))

现在结果是一个元组列表,每个元组都包含一些(i,j),你可以只迭代结果。