python类变量不会在多处理中更新

时间:2019-06-15 05:30:42

标签: python class multiprocessing locking

我正在使用多重处理来加快python中的较长过程,我想将数据保存在单独的类中,以使代码更简洁一些,但是看来,如果我在过程中更改类var,它将回滚到进程之前的最后一个状态,而在进行中则表明变量已更新。
这是简化的示例

class state_mangment():
  def __init__(self):
    print('__init__')
    self.last_save = -1

  def update_state(self):
    self.last_save  =self.last_save + 1
    return self.last_save

from multiprocessing import Process, Lock
def f(l, i,persist_state ):
    l.acquire()
    try:

        print('last save is ',persist_state.update_state(),' should be ',i)
    finally:
        l.release()

if __name__ == '__main__':
    lock = Lock()
    persist_state = state_mangment()
    processes = []

    for num in range(10):
        p = Process(target=f, args=(lock, num,persist_state ))
        processes.append(p)
        p.start()

    for p in processes:
      p.join()

    print(persist_state.last_save)  

这是输出,因为您可以在返回值中看到将变量从-1增加到0,但是在下一次迭代中它不会从0开始

 
__init__
last save is  0  should be  0
last save is  0  should be  1
last save is  0  should be  2
last save is  0  should be  3
last save is  0  should be  4
last save is  0  should be  5
last save is  0  should be  6
last save is  0  should be  7
last save is  0  should be  8
last save is  0  should be  9
-1
    

1 个答案:

答案 0 :(得分:1)

您的代码有几处错误。由multiprocessing.Process()运行的函数不共享父进程的地址空间。这就是为什么persist_state对象的操作未反映在父进程中的原因。可以以这种方式使用multiprocessing.Lock()对象是因为该类被设计为在multiprocessing.Process()上下文中以这种方式工作。这并不意味着您可以操纵任意对象的状态并将这些操纵反映在父进程中。

有关解决此问题的一种方法,请参见Manager()类的描述。