使用pool()跟踪并行循环中的答案-Python

时间:2019-06-13 20:35:00

标签: python multiprocessing pool

尽管阅读了hereherehere和许多其他类似的帖子,但我仍然无法解决我的问题。这些是我拥有的for循环:

a = [1,11]
b = [2,22,222]
c = [3,33,333,3333]

results_01 = []
results_02 = []
results_03 = []
for i in range(len(a)):
    for j in range(len(b)):
        for k in range(len(c)):
            r_01 = [a[i] + b[j] + c[k]]
            r_02 = [a[i] - b[j] - c[k]]
            r_03 = [a[i] * b[j] * c[k]]
            results_01.append(r_01)
            results_02.append(r_02)
            results_03.append(r_03)

我需要对此进行并行化并跟踪ijk的哪种组合对应于每个最终答案(例如,我需要知道哪些最终答案相对应到a[1]b[2]c[3])。我尝试了各种方法,但都无济于事,但对我来说,最合乎逻辑的方法是:

import multiprocessing as mp
from multiprocessing import Pool

num_processes = mp.cpu_count()-12

def parallelize(i,j,k):

    r_01 = [i + j + k]
    r_02 = [i - j - k]
    r_03 = [i * j * k]

    return r_01, r_02, r_03

if __name__ == '__main__':
    __spec__ = "ModuleSpec(name='builtins', loader=<class '_frozen_importlib.BuiltinImporter'>)" # this is because I am using Spyder!

    a = [1,11]
    b = [2,22,222]
    c = [3,33,333,3333]

    pool = Pool(processes = num_processes) 

    results = pool.map(parallelize(a[i],b[j],c[k]), [p for p in range(num_processes)])

    pool.close()
    pool.join()

    results_01 = [i[0] for i in results]
    results_02 = [i[1] for i in results]
    results_03 = [i[2] for i in results]

这给了我一个错误name 'i' is not defined,这是很有意义的,但是由于我是MP新手,所以我不知道该怎么做!有人可以帮我吗?

P.S。这是我提出的一个非常简化的问题!实际上,我的问题要复杂得多,但是解决这个问题可以帮助我解决实际的问题。

1 个答案:

答案 0 :(得分:2)

尝试一下:

results = pool.starmap(parallelize, [(ai, bj, ck) for ai in a for bj in b for ck in c])

一些解释:

  • pool.map仅适用于带有一个参数的函数。对于具有更多参数的函数,可以使用pool.starmap来方便使用,这可以帮助您“解压缩”参数,就像调用parallelize(*tuple)一样。
  • 无论您使用的是pool.map还是pool.starmap,都需要将函数本身作为参数传递,而不是对其进行一次调用-整个要点是让其他线程为您完成工作。这意味着函数名称后没有括号。
  • 使用进程池的一个优点是,您不必担心如何向每个进程分派任务。因此,与num_processes无关。只需向其传递您要执行的所有任务的列表,然后让池完成其余的工作即可。 (除非每个任务的工作量都很少,在这种情况下,您可能需要将它们组合以减少开销。)