多处理:map vs map_async

时间:2016-03-10 06:15:47

标签: python-2.7 python-multiprocessing

使用mapmap_async之间的区别是什么?将列表中的项目分配给4个进程后,它们是否没有运行相同的功能?

假设两者都在运行异步和并行是错误的吗?

def f(x):
   return 2*x

p=Pool(4)
l=[1,2,3,4]
out1=p.map(f,l)
#vs
out2=p.map_async(f,l)

1 个答案:

答案 0 :(得分:55)

将作业映射到流程有四种选择。您必须考虑多参数,并发,阻塞和排序。 mapmap_asnyc仅在阻止方面有所不同。在map_async阻止

的情况下,map是非阻止的

所以,让我们说你有一个功能

from multiprocessing import Pool
import time

def f(x):
    print x*x

if __name__ == '__main__':
    pool = Pool(processes=4)
    pool.map(f, range(10))
    r = pool.map_async(f, range(10))
    # DO STUFF
    print 'HERE'
    print 'MORE'
    r.wait()
    print 'DONE'

示例输出:

0
1
9
4
16
25
36
49
64
81
0
HERE
1
4
MORE
16
25
36
9
49
64
81
DONE

pool.map(f, range(10))将等待所有10个函数调用完成,以便我们连续看到所有打印件。 r = pool.map_async(f, range(10))将异步执行它们,并且仅在调用r.wait()时阻止,因此我们会看到HEREMORE,但DONE将始终在结尾。< / p>