Question

我有一个返回列表的函数。我正在使用joblib进行并行处理。

from joblib import Parallel, delayed
def myFunc(c, K, N):
    # something
    return myList
inputs = range(500)
if __name__ == '__main__':
    val = Parallel(n_jobs=20)(delayed(myFunc)(c, K, N) for c in inputs)

我想在1到500的每次迭代中存储所有重新编译的列表val，然后使用它们。

没有并行，我会这样做：

def myFunc(c, K, N):
    # something
    return myList
inputs = range(500)
lists = []
for c in inputs:
    val = myFunc(c, K, N)
    lists.append(val)
# Now I have all the lists

我可以用并行吗？

Answer 1

事实上，joblib.Parallel为你做的工作。

from __future__ import print_function
from joblib import Parallel, delayed
import random


def my_func(c, K, N):
    my_list = [random.randrange(3) for _ in range(K*N)]
    return my_list


if __name__ == '__main__':
    inputs = range(2)
    K, N = 3, 3
    val = Parallel(n_jobs=2)(delayed(my_func)(c, K, N) for c in inputs)
    print(val)

这将打印

[[0, 1, 1, 0, 1, 2, 2, 1, 1], [2, 1, 2, 0, 1, 1, 2, 1, 0]]

如何使用joblib Python返回矩阵？

1 个答案: