在内部应用异步python函数中调用Apply async

时间:2019-07-18 13:02:19

标签: python python-2.7 multiprocessing

我正在尝试使用内部apply_async函数调用一个池,当我尝试将一个函数传递给另一个函数的池时,遇到序列化对象错误,因此我将第二个池移为全局,但是对我来说仍然不起作用,我想念什么? 我的代码:

from multiprocessing import Pool
b_pool = Pool(1)

def func_a(i):
    global b_pool
    print "a : {}".format(i)
    try:
        res = b_pool.apply_async(func_b, args=(i,))
    except Exception as e:
        print e

def func_b(i):
    print "b : {}".format(i)
    file = "/home/ubuntu/b_apply.txt"
    f = open(file, "a")
    f.write("b : {}".format(i))
    f.close()


if __name__ == '__main__':
    a_pool = Pool(1)
    for i in range(10):
       res =  a_pool.apply_async(func_a,args=(i,) )

    a_pool.close()
    a_pool.join()

    b_pool.close()
    b_pool.join()

在此代码中,只有a打印0 -9,b不打印,甚至不打印到文件。 我正在使用python 2.7

1 个答案:

答案 0 :(得分:0)

队列是一个好的方向,只是multiprocessing.Queue无法像这样传递,但是Manager.Queue是正确的方法,我的代码起作用了:

from multiprocessing import Pool,Manager
def func_a(i,q):
    print "a : {}".format(i)
    try:
        q.put(i)
    except Exception as e:
        print e


def func_b(i,q):
    i = q.get()
    print "b : {}".format(i)


if __name__ == '__main__':
    m = Manager()
    q = m.Queue()
    a_pool = Pool(1)
    b_pool = Pool(1)

    for i in range(10):
        res = a_pool.apply_async(func_a,args=(i,q,) )
        res_2 = b_pool.apply_async(func_b, args=(i,q,))

    a_pool.close()
    a_pool.join()

    b_pool.close()
    b_pool.join()

这个答案Sharing a result queue among several processes很有帮助