满足条件时终止所有进程

时间:2018-05-22 06:27:42

标签: python parallel-processing multiprocessing starmap

我正在使用starmap来运行测试功能。
什么是当进程首次找到排列[5,2,4,3,1]时终止所有进程的最佳/最安全的方法?

import multiprocessing as mp
import time

def testing(lts):
    # code ....
    start_time = time.time()
    for x in range(1,500000):
        gg = [1,2,3,4,5]
        random.shuffle(gg)
        ### if gg==[5,2,4,3,1] terminate all processes
    total_time = time.time() - start_time
    return total_time

if __name__ == '__main__':

    with mp.Pool(processes=4) as pool:
    ret = pool.starmap(testing, [(lst,) for x in range(4)])

1 个答案:

答案 0 :(得分:2)

我对这些multiprocessing内容并不是很熟悉,但设置全局变量只适用于线程。 multiprocessing创建不同的进程,因此全局变量将被复制,并且值的更改仅在当前进程中可见。

相反,使用Manager,它在进程之间创建一个共享对象(例如,字典,列表)。

可能有更简单的方法,但我选择创建一个共享的Manager.list()对象,该对象最初是空的。

找到组合后,只需在列表中附加内容即可。在所有进程中测试列表的空白度。我已经调整了您的示例,因此它按原样运行(此处不需要numpyrandom.shuffle正常工作。

import multiprocessing as mp, random
import time

def testing(lst):
    # code ....

    start_time = time.time()
    for x in range(1,500000):
        gg = [1,2,3,4,5]
        random.shuffle(gg)

        if gg==[5,2,4,3,1]:
            print(gg)
            lst.append(1)  # reflected on all processes
        if lst:
            # list is no longer empty: stop
            print("stop")
            break

    total_time = time.time() - start_time
    return total_time

if __name__ == '__main__':
    manager = mp.Manager()
    lst = manager.list()

    with mp.Pool(processes=4) as pool:
       ret = pool.starmap(testing, [(lst,) for x in range(4)])

    print(ret)

执行的痕迹:

[5, 2, 4, 3, 1]
stop
stop
stop
stop
[0.031249523162841797, 0.015624523162841797, 0.015624523162841797, 0.015624523162841797]

正如我们所见,当一个人找到“解决方案”时,4个进程已经停止。