Question

修改

建议的代码实际上有效！我只是在一个没有显示输出的IDE中运行它。

我要离开这个问题因为评论/答案很有启发性

我需要在很多工人之间分配一份大工作。在试图弄清楚如何执行此操作时，我使用了以下简单示例，代码主要来自here。基本上，我正在列出一个列表，在较短的子列表（块）中进行分解，并要求multiprocessing使用专门的工作人员打印每个子列表的内容：

import multiprocessing
from math import ceil

# Breaking up the long list in chunks:
def chunks(l, n):
    return [l[i:i+n] for i in range(0, len(l), n)]

# Some simple function 
  def do_job(job_id, data_slice):
      for item in data_slice:
          print("{}_{}".format(job_id, item))

然后我这样做：

if __name__ == '__main__':

    # My "long" list
    l = [letter for letter in 'abcdefghijklmnopqrstuvwxyz']

    my_chunks = chunks(l, ceil(len(l)/4))

此时，my_chunks正如所料：

[['a', 'b', 'c', 'd', 'e', 'f', 'g'],
 ['h', 'i', 'j', 'k', 'l', 'm', 'n'],
 ['o', 'p', 'q', 'r', 's', 't', 'u'],
 ['v', 'w', 'x', 'y', 'z']]

然后：

    jobs = []
    for i, s in enumerate(my_chunks):
        j = mp.Process(target=do_job, args=(i, s))
        jobs.append(j)
    for j in jobs:
        print('starting job {}'.format(str(j)))        
        j.start()

最初，我写了这个问题，因为我没有从do_job函数获得预期的打印输出。

结果从命令行运行时代码运行正常。

Answer 1

也许这是您第一次使用多处理？在流程有时间完成工作之前，您是等待流程退出还是退出主流程？

from multiprocessing import Process
from string import ascii_letters
from time import sleep


def job(chunk):
    done = chunk[::-1]
    print(done)

def chunk(data, parts):
    divided = [None]*parts
    n = len(data) // parts
    for i in range(parts):
        divided[i] = data[i*n:n*(i+1)]
    if len(data) % 2 != 0:
        divided[-1] += [data[-1]]
    return divided


def main():
    data = list(ascii_letters)
    workers = 4
    data_chunks = chunk(data, workers)
    ps = []
    for i in range(4):
        w = Process(target=job, args=(data_chunks[i],))
        w.deamon = True
        w.start()
        ps += [w]
    sleep(2)



if __name__ == '__main__':
    main()

Python多处理：简单的作业分配到许多进程

修改

1 个答案: