Question

假设我有一个类，并且想从磁盘上并行读取几个文件，并参数化类参数。什么是最正确的方法（以及如何做）？

在发生其他任何事情之前，主线程应等待load_data（）操作结束。

我考虑了线程，因为它只是I / O动作。

非并行实现（1-线程）的示例：

import pandas as pd


class DataManager(object):
    def __init__(self):
        self.a = None
        self.b = None
        self.c = None
        self.d = None
        self.e = None
        self.f = None

    def load_data(self):
        self.a = pd.read_csv('a.csv')
        self.b = pd.read_csv('b.csv')
        self.c = pd.read_csv('c.csv')
        self.d = pd.read_csv('d.csv')
        self.e = pd.read_csv('e.csv')
        self.f = pd.read_csv('f.csv')

if __name__ == '__main__':
    dm = DataManager()
    dm.load_data()
    # Main thread is waiting for load_data to finish.
    print("finished loading data")

Answer 1

在大多数情况下，I / O操作不受CPU限制，因此使用多个进程是过大的选择。使用多个线程可能会很好，但是pb.read_csv不仅会读取文件，还会解析它可能受到CPU限制的内容。我建议您首先使用asyncio从磁盘读取文件。这是执行此操作的代码：

import asyncio
import aiofiles


async def read_file(file_name):
    async with aiofiles.open(file_name, mode='rb') as f:
        return await f.read()


def read_files_async(file_names: list) -> list:
    loop = asyncio.get_event_loop()
    return loop.run_until_complete(
        asyncio.gather(*[read_file(file_name) for file_name in file_names]))


if __name__ == '__main__':
    contents = read_files_async([f'files/file_{i}.csv' for i in range(10)])
    print(contents)

函数read_files_async返回文件内容（字节缓冲区）的列表，您可以将其传递给pd.read_csv。

我认为仅优化文件读取就足够了，但是您可以与多个进程并行解析文件内容（线程和异步不会提高解析过程的性能）：

import multiprocessing as mp

NUMBER_OF_CORES = 4
pool = mp.Pool(NUMBER_OF_CORES)
pool.map(pb.read_csv, contents)

您应根据自己的机器规格设置NUMBER_OF_CORES。

Answer 2

使用Python3 ThreadPoolExecutor

的可能解决方案

    from concurrent.futures import ThreadPoolExecutor
    import queue
    import pandas as pd

    def load_data_worker(data_queue, file_name):
        data_queue.put(pd.read_csv(file_name))

    class DataManager(object):
        def __init__(self):
            self.data_queue = queue.Queue()
            self.data_arr = []

        def load_data(self):
            with ThreadPoolExecutor() as executor:
                executor.submit(load_data_woker, self.data_queue, 'a.csv')
                executor.submit(load_data_woker, self.data_queue, 'b.csv')
                # ... 
                executor.submit(load_data_woker, self.data_queue, 'f.csv')
           # dumping Queue of loaded data to array 
           self.data_arr = list(self.data_queue.queue)



    if __name__ == '__main__':
        dm = DataManager()
        dm.load_data()
        # Main thread is waiting for load_data to finish.
        print("finished loading data")

并行读取文件并参数化类参数

2 个答案: