在完成之前停止使用pool.apply_async()生成的进程

时间:2016-01-24 09:53:35

标签: python

假设我们使用pool.apply_async()生成了一些进程。当其中任何一个返回值时,如何停止所有其他进程? 另外,这是获得算法运行时间的正确方法吗? 以下是示例代码: -

import timeit
import multiprocessing as mp

data = range(1,200000)

def func(search):
    for val in data:
        if val >= search:
            # Doing something such that other processes stop ????
            return val*val 

if __name__ == "__main__":
    cpu_count = mp.cpu_count()
    pool = mp.Pool(processes = cpu_count)

    output = []

    start = timeit.default_timer()

    results = []
    while cpu_count >= 1:
        results.append(pool.apply_async(func, (150000,)))
        cpu_count = cpu_count - 1

    output = [p.get() for p in results]
    stop = timeit.default_timer()
    print output

    pool.close()
    pool.join()

    print "Running Time : " + str(stop - start) + " seconds"

1 个答案:

答案 0 :(得分:0)

我从未这样做过,但是python docs似乎对如何做到这一点提出了一个想法。

参考:https://docs.python.org/2/library/multiprocessing.html#multiprocessing.Process.terminate

在你的代码片段中,我会这样做:

while cpu_count >= 1:
        if len(results)>0:
            pool.terminate()
            pool.close()
            break
        results.append(pool.apply_async(func, (150000,)))
        cpu_count = cpu_count - 1

你的计时方法似乎还可以。我会在开始和停止时使用time.time(),然后显示减法,因为我已经习惯了。