Question

我有一个字符串列表，在每个字符串上，我正在进行一些您可以在wordify()中看到的更改。现在，为了加快速度，我使用chunked()将列表拆分为子列表（子列表的数量是CPU核心的数量 - 1）。这样我就会得到类似[[,,],[,,],[,,],[,,]]的列表。

我努力实现的目标：

我想同时对每个子列表执行wordify()，将子列表作为单独的列表返回。我想等到所有进程完成后再将这些子列表加入到一个列表中。以下方法不起作用。

import multiprocessing
from multiprocessing import Pool
from contextlib import closing

def readFiles():
    words = []
    with open("somefile.txt") as f:
        w = f.readlines()
    words = words + w 
    return words


def chunked(words, num_cpu):
    avg = len(words) / float(num_cpu)
    out = []
    last = 0.0    
    while last < len(words):
        out.append(words[int(last):int(last + avg)])
        last += avg    
    return out    


def wordify(chunk,wl):
    wl.append([chunk[word].split(",", 1)[0] for word in range(len(chunk))]) 
    return wl


if __name__ == '__main__':
    num_cpu = multiprocessing.cpu_count() - 1
    words = readFiles()
    chunked = chunked(words, num_cpu)
    wordlist = []
    wordify(words, wordlist) # works
    with closing(Pool(processes = num_cpu)) as p:
        p.map(wordify, chunked, wordlist) # fails

Answer 1

您已编写代码，以便将一个函数传递给map;知道你希望它将wordlist传递给你函数的第二个参数是不够聪明的。

TBH部分函数应用程序在Python中有点笨拙，但您可以使用functools.partial：

from functools import partial
p.map(partial(wordify, wordlist), chunked)

使用地图进行多处理

1 个答案: