如何使用python多处理并行读取多个大文件?

时间:2015-10-11 12:46:16

标签: python parallel-processing multiprocessing

我有一组大文本文件。目前,我有一个生成器函数,它按顺序解析每个文件并为每一行生成一个值。

def parse(): 
    for f in files:
        for line in f:
            # parse line
            yield value

迭代所有文件需要 24小时! 我有兴趣知道是否可以并行读取多个文件并以有效的方式产生结果?

0 个答案:

没有答案