当引入pipe()时,为什么Python不并行计算?

时间:2019-03-30 10:14:22

标签: python multiprocessing pipe python-multiprocessing

当我使用多重处理来运行两个函数时,我可以得到它们并行运行的结果。但是现在我希望两个子进程相互通信,因此我引入了Pipe()方法,此后我发现这两个功能不是并行运行的

(我附加的项目花费2s而不是1s ...如果我删除所有pipe()方法,它将仅花费1s,这意味着两个func并行运行)。

我想知道我的代码出了什么问题..当我使用join()或recv()时有什么问题吗?

简而言之,当我使用Pipe()在它们之间进行一些通信时,我想知道如何使两个函数并行工作?非常感谢!

import numpy as np
import multiprocessing
import time 

def funca(mylist,conn):
        time.sleep(1)         
        mylist.append(666.6)
        conn.send(['a','a','a'])

def funcb(mylist,conn):
        time.sleep(1)
        mylist.append(66.6)
        conn.send(['b','b','b'])

if __name__ == "__main__":
    samples = [1,2,3]
    with multiprocessing.Manager() as MG: 
        conn1,conn2 = multiprocessing.Pipe()
        mylist = MG.list(samples)  
        tic = time.time()
        p1=multiprocessing.Process(target=funca,args=(mylist,conn1) ) 
        p1.start()
        print(conn2.recv())
        funcb(mylist,conn1)
#        p2=multiprocessing.Process(target=funcb,args=(mylist,conn1) ) 
#        p2.start()
        print(conn2.recv())
        p1.join()
#        p2.join()
        p1.terminate()
#        p2.terminate()
        print(list(mylist))
    toc = time.time()
    print('pass time = ',toc-tic)

1 个答案:

答案 0 :(得分:1)

问题是您在开始第二个过程之前从管道print(conn2.recv())收到了消息。这导致第二个过程被延迟到第一个过程完成为止。

在您的示例中,在主流程中运行了第二个流程时,也会发生这种情况,这与注释行混淆了。更改:

print(conn2.recv())
funcb(mylist,conn1)

收件人:

funcb(mylist,conn1)
print(conn2.recv())