Question

我尝试使用多处理来处理numpy数组。但我不知道如何将处理结果返回给dict变量。

使用注释代码可以产生我所期望的。但是当我尝试使用多处理时，我无法获得max_rslts的任何内容，它是一个空的字典。

示例代码为：

from __future__ import print_function

from multiprocessing import Process
import numpy as np

def calc_max(a, step):
    global max_rslts
    max_rslts[step] = a[::step].max()


if __name__ == '__main__':
    max_rslts = dict()

    a1 = np.arange(16).reshape(4,4)

#    for i in range(1,4):
#        calc_max(a1, i)
#    print(max_rslts)

    jobs = []
    for i in range(1,4):
        p = Process(target=calc_max, args=(a1, i))
        jobs.append(p)
        p.start()

    for j in jobs:
        j.join()

    print(a1)
    print(max_rslts)

Answer 1

来自multiprocessing programming guidelines：

避免共享状态

在分离每个子进程之后，进程之间不共享

global。请改用share state between processes使用不同的方法。 dict manager可以在这里工作：

from __future__ import print_function

from multiprocessing import Process, Manager
import numpy as np


def calc_max(a, step, max_rslts):
    max_rslts[step] = a[::step].max()


if __name__ == '__main__':
    manager = Manager()
    max_rslts = manager.dict()
    a1 = np.arange(16).reshape(4,4)
    jobs = []
    for i in range(1,4):
        p = Process(target=calc_max, args=(a1, i, max_rslts))
        jobs.append(p)
        p.start()

    for j in jobs:
        j.join()

    print(a1)
    print(max_rslts)

无法在python中使用mutliprocessing修改全局dict变量

1 个答案: