如何为具有6个不同类型和大小的参数的函数实现多处理

时间:2019-04-07 10:16:07

标签: python multiprocessing python-multiprocessing

我有一个接受5个或更多参数作为输入的函数,这些参数具有不同的类型和大小,在这种情况下如何应用多重处理。

在这个虚拟样本中说

功能:

def func(arr1,arr2,arr3,mtx1,mtx2,st):

# the function will output three arrays that has the same size as the arr1
result1 = np.zeros((len(arr1), 1))
result2 = np.zeros((len(arr1), 1))
result3 = np.zeros((len(arr1), 1))

# the function will make iteration through the 0 to the length of the arr1
for i, _ in enumerate(arr1):
    # it does a lot of computations using the #th number of arr1, arr2, arr3, but takes the whole matrices mtx1 amd mtx2 
    # some details of the calculation based on the setting of the string 

return result1, result2, result3

主要功能是定义所有参数,然后输入到函数中。

如果名称 =='主要':

arr1 = np.array([100,200,300])
arr2 = np.array([400,500,600])
arr3 = np.array([700,800,900])
mtx1 = np.array([[1,2,3,4,5],[6,7,8,9,10],[11,12,13,14,15]])
mtx2 = np.random.rand(10,10)
st = 'string'

results = func(arr1, arr2, arr3, mtx1, mtx2, str)

我尝试按照其他人的建议使用“泳池”和地图,例如:

p = Pool()
results = p.map(func, arr1, arr2, arr3, mtx1, mtx2, st)
p.close()
p.join()

这将导致错误:

map()需要3到4个位置参数,但给出了8个位置

我在网上发现的大多数多处理示例都使用与函数输入相同的数组大小,并且该函数仅执行非常简单的数学计算。但这不是我的情况,我该如何解决这个问题?

谢谢!

1 个答案:

答案 0 :(得分:0)

您对map的使用有点不满意。第二个参数应为iterable-元组或列表。像这样:

results = p.map(func, (arr1, arr2, arr3, mtx1, mtx2, st))

对于多次调用同一功能,您可以尝试使用星图:https://docs.python.org/dev/library/multiprocessing.html#multiprocessing.pool.Pool.starmap

星图的参数应该是可迭代的,可以为您的函数解压缩。