Question

我正在执行下面的代码并且它正常工作，但它不会产生到不同的进程，相反，有时所有都在同一个进程中运行，有时候在一个进程中运行。我正在使用4 cpu机器。这个代码怎么了？

def f(values):
    print(multiprocessing.current_process())
    return values

def main():
    p = Pool(4) #number of processes = number of CPUs
    keys, values= zip(*data.items()) #ordered keys and values
    processed_values= p.map( f, values )
    result= dict( zip(keys, processed_values ) ) 
    p.close() # no more tasks
    p.join()  # wrap up current tasks

结果是

<SpawnProcess(SpawnPoolWorker-1, started daemon)>
<SpawnProcess(SpawnPoolWorker-1, started daemon)>
<SpawnProcess(SpawnPoolWorker-1, started daemon)>
<SpawnProcess(SpawnPoolWorker-1, started daemon)>

有时这样，

<SpawnProcess(SpawnPoolWorker-3, started daemon)>
<SpawnProcess(SpawnPoolWorker-2, started daemon)>
<SpawnProcess(SpawnPoolWorker-1, started daemon)>
<SpawnProcess(SpawnPoolWorker-3, started daemon)>

有时候，

<SpawnProcess(SpawnPoolWorker-1, started daemon)>
<SpawnProcess(SpawnPoolWorker-4, started daemon)>
<SpawnProcess(SpawnPoolWorker-2, started daemon)>
<SpawnProcess(SpawnPoolWorker-1, started daemon)>

我的问题是，它在什么基础上赋予工人这个功能？我正在编写代码，它根据我的字典中的键数决定进程数（考虑到我的数据总是比我的CPU更少的键）。我的代码将开始 - 主代码读取文件并使用单个进程从中创建一个字典，并应将其分支到并发进程的数量并等待它们处理数据（我正在使用pool.map），然后一旦它获得子进程的结果，它就开始处理它们。如何实现此父级等待子进程步骤？

Answer 1

您的代码没有任何问题。您的工作项非常快 - 速度很快，相同的工作进程可以运行该函数，返回结果，然后赢得竞争以使用multiprocessing.Pool使用的内部队列中的下一个任务分配工作。当您致电map时，工作项会分批并放入Queue。这是pool.map实现的一部分，它将iterable中的项目组合在一起并将它们放入队列中：

    task_batches = Pool._get_tasks(func, iterable, chunksize)
    result = MapResult(self._cache, chunksize, len(iterable), callback)
    self._taskqueue.put((((result._job, i, mapstar, (x,), {}) 
                          for i, x in enumerate(task_batches)), None))

每个工作进程都运行一个具有无限while循环的函数，该循环使用该队列中的项目*：

while maxtasks is None or (maxtasks and completed < maxtasks):
    try:
        task = get()  # Pulls an item off the taskqueue
    except (EOFError, IOError):
        debug('worker got EOFError or IOError -- exiting')
        break

    if task is None:
        debug('worker got sentinel -- exiting')
        break

    job, i, func, args, kwds = task
    try:
        result = (True, func(*args, **kwds))  # Runs the function you passed to map
    except Exception, e:
        result = (False, e)
    try:
        put((job, i, result))  # Sends the result back to the parent
    except Exception as e:
        wrapped = MaybeEncodingError(e, result[1])
        debug("Possible encoding error while sending result: %s" % (
            wrapped))

同一个工人可能只是偶然能够使用一个项目，运行func，然后消耗下一个项目。这个有点奇怪 - 我无法在运行与你的例子相同的代码的机器上重现它 - 但让同一个工人从队列中抓取四个项中的两个是很正常的。

如果您通过拨打time.sleep来调用您的工作人员功能，您应该始终看到均匀分布：

def f(values): print(multiprocessing.current_process()) time.sleep(1) return values

_{*这实际上并不完全正确 - 在主进程中运行的线程从taskqueue消耗，然后将其拉出的线程粘贴到另一个Queue和那是子进程消耗的内容）}

Python多处理 - 进程数

1 个答案: