Question

我正在使用python中的多处理模块，并尝试并行化每次循环遍历具有不同增量值的列表的算法（对Sieve of Eratosthenes算法的修改）。因此，我希望所有进程之间都有一个共享列表，以便所有进程都在修改同一列表。我已经尝试过使用multiprocessing.Array函数，但是当我到达程序末尾时，该数组仍未修改，仍然包含全0（将其初始化为的值）。

import multiprocessing
import math

num_cores = multiprocessing.cpu_count()

lower = 0
mark = None

def mark_array(k):
    global mark
    index = (-(-lower//k)*k)-lower
    for i in range(index, len(mark), k):
        mark[i] = 1

def sieve(upper_bound, lower_bound):
    size = upper_bound - lower_bound + 1

    global mark
    mark = multiprocessing.Array('i', size, lock=False)
    for i in range(size):
        mark[i] = 0

    klimit = int(math.sqrt(upper_bound)) + 1
    global lower
    lower = lower_bound

    if __name__ == '__main__':
        pool = multiprocessing.Pool(processes=num_cores)
        inputs = list(range(2, klimit+1))
        pool.map(mark_array, inputs)
        pool.close()
        pool.join()

        result = []
        for i in range(size):
            result.append(mark[i])
        print(result)

sieve(200,100)

请输入密码。有点混乱，但是我只是想在清除共享内存之前使共享内存正常工作。

编辑：好的，所以我在Linux机器上尝试了完全相同的代码，然后得到了预期的输出。但是，不能在Windows计算机上的VS代码中运行相同的代码。知道为什么吗？

EDIT＃2：这似乎是Windows特有的问题，因为Windows OS处理进程的方式不同于Linux。如果是这样，有什么办法解决吗？

Answer 1

您可以尝试将multiprocessing.Manager用于任务：

import multiprocessing
import math
from functools import partial

num_cores = multiprocessing.cpu_count()

lower = 0


def mark_array(mark, k):
    index = (-(-lower // k) * k) - lower
    for i in range(index, len(mark), k):
        mark[i] = 1


def sieve(upper_bound, lower_bound):
    size = upper_bound - lower_bound + 1

    klimit = int(math.sqrt(upper_bound)) + 1
    global lower
    lower = lower_bound

    if __name__ == '__main__':
        pool = multiprocessing.Pool(processes=num_cores)
        with multiprocessing.Manager() as manager:
            mark = manager.list(range(size))
            for i in range(size):
                mark[i] = 0

            inputs = list(range(2, klimit + 1))
            foo = partial(mark_array, mark)

            pool.map(foo, inputs)
            pool.close()
            pool.join()

            result = []
            for i in range(size):
                result.append(mark[i])
            print(result)


sieve(200, 100)

进程之间共享内存

1 个答案: