Question

我有一个文件列表，我将其传递给for循环并执行一大堆功能。什么是最简单的并行化方法？不确定我能在任何地方找到这个确切的东西，我认为我当前的实现是不正确的，因为我只看到一个文件正在运行。从我已经完成的一些阅读中，我认为这应该是一个完全平行的案例。

旧代码是这样的：

import pandas as pd
filenames = ['file1.csv', 'file2.csv', 'file3.csv', 'file4.csv']
for file in filenames:
    file1 = pd.read_csv(file)
    print('running ' + str(file))
    a = function1(file1)
    b = function2(a)
    c = function3(b)
    for d in range(1,6):
            e = function4(c, d)
    c.to_csv('output.csv')

（错误）并行化代码

import pandas as pd
from multiprocessing import Pool
filenames = ['file1.csv', 'file2.csv', 'file3.csv', 'file4.csv']
def multip(filenames):
    file1 = pd.read_csv(file)
    print('running ' + str(file))
    a = function1(file1)
    b = function2(a)
    c = function3(b)
    for d in range(1,6):
            e = function4(c, d)
    c.to_csv('output.csv')

if __name__ == '__main__'
    pool = Pool(processes=4)
    runstuff = pool.map(multip(filenames))

我 （想想） 我想做的是一个文件计算每个核心（也许每个过程？）。我也做了

multiprocessing.cpu_count()

并得到8（我有一个四边形，所以它可能考虑到线程）。由于我总共有大约10个文件，如果我可以为每个进程放置一个文件以加快速度，那就太棒了！我希望剩下的两个文件在第一轮完成的过程完成后也会找到一个过程。

编辑：为了进一步清楚起见，函数（即函数1，函数2等）也馈送到它们各自文件内的其他函数（即函数1a，函数1b）。我使用import语句调用函数1。

我收到以下错误：

OSError: Expected file path name or file-like object, got <class 'list'> type

显然不喜欢传递列表，但我不想在if语句中执行文件名[0]，因为它只运行一个文件

Answer 1

import multiprocessing
names = ['file1.csv', 'file2.csv']
def multip(name):
     [do stuff here]

if __name__ == '__main__':
    #use one less process to be a little more stable
    p = multiprocessing.Pool(processes = multiprocessing.cpu_count()-1)
    #timing it...
    start = time.time()
    for file in names:
    p.apply_async(multip, [file])

    p.close()
    p.join()
    print("Complete")
    end = time.time()
    print('total time (s)= ' + str(end-start))

编辑：将if__name __ =='____ main___'换掉。这会运行所有文件：

if __name__ == '__main__':

    p = Pool(processes = len(names))
    start = time.time()
    async_result = p.map_async(multip, names)
    p.close()
    p.join()
    print("Complete")
    end = time.time()
    print('total time (s)= ' + str(end-start))

带有for循环的多处理池

1 个答案: