Question

我想计算一个使用Internet的大量io-bond任务，然后将结果保存在2d数组中，在单个过程模式下，将需要很多天才能完成。
我通过在每个进程中更新一行来使其成为多处理器。

    class MatrixData:
        def __init__(self, size):
            self.size = size
            self.dist_matrix = [[0.0] * size] * size
            self.last_not_given_row = 0
            self.last_save = 0

            self.resolved_list = mp.Array('b', [False] * size)

        def save_row(self, row_index, data, lock):
            lock.acquire()
            try:
                print('lock')
                self.last_save= self.last_save + 1
                if self.last_save % 2 == 0:
                    self.save_file()
                self.resolved_list[row_index] = True
                for i in range(self.size):
                    self.dist_matrix[row_index][i] = data[i]
            finally:
                print('unlock')
                lock.release()

我使用last_save之类的其他一些参数在短时间内将其保存到文件中。

我使用锁来确保过程安全，但是当我启动一个过程时，它将产生新的空间并破坏数据。

lock = mp.Lock()
    for i in range(12):
        p = mp.Process(target=worker, args=(data_calculator, MatrixData_obj))
        p.start()
        plist.append(p)

    for p in plist:
        p.join()

在python多处理中更新复杂的对象

0 个答案: