Question

我需要读取一些非常大的文本文件（100+ Mb），使用正则表达式处理每一行并将数据存储到结构中。我的结构继承自defaultdict，它有一个read（self）方法，读取self.file_name文件。

看看这个非常简单（但不是真实的）的例子，我没有使用正则表达式，但我正在拆分行：


import multiprocessing
from collections import defaultdict

def SingleContainer():
    return list()

class Container(defaultdict):
    """
    this class store odd line in self["odd"] and even line in self["even"].
    It is stupid, but it's only an example. In the real case the class
    has additional methods that do computation on readen data.
    """
    def __init__(self,file_name):
        if type(file_name) != str:
            raise AttributeError, "%s is not a string" % file_name
        defaultdict.__init__(self,SingleContainer)
        self.file_name = file_name
        self.readen_lines = 0
    def read(self):
        f = open(self.file_name)
        print "start reading file %s" % self.file_name
        for line in f:
            self.readen_lines += 1
            values = line.split()
            key = {0: "even", 1: "odd"}[self.readen_lines %2]
            self[key].append(values)
        print "readen %d lines from file %s" % (self.readen_lines, self.file_name)

def do(file_name):
    container = Container(file_name)
    container.read()
    return container.items()

if __name__ == "__main__":
    file_names = ["r1_200909.log", "r1_200910.log"]
    pool = multiprocessing.Pool(len(file_names))
    result = pool.map(do,file_names)
    pool.close()
    pool.join()
    print "Finish"

最后，我需要将每个结果加入一个Container中。重要的是保持线的顺序。返回值时，我的方法太慢了。好的解决方案我在Linux上使用python 2.6

Answer 1

你可能遇到两个问题。

其中一个被提到：你一次读取多个文件。这些读取将最终交错，导致磁盘抖动。您希望一次读取整个文件，然后只对数据进行多线程计算。

其次，你正在攻击Python的多处理模块的开销。它实际上并不是使用线程，而是启动多个进程并通过管道序列化结果。这对于批量数据来说非常慢 - 事实上，它似乎比你在线程中所做的工作要慢（至少在这个例子中）。这是由GIL引起的现实问题。

如果我修改do（）以返回None而不是container.items（）来禁用额外的数据副本，则此示例比单个线程更快，只要文件已经缓存：

两个主题：0.36elapsed 168％CPU

一个线程（用map替换pool.map）：0：00.52elapsed 98％CPU

不幸的是，GIL问题是根本性的，无法在Python内部解决。

Answer 2

多处理更适合于面向CPU或面向内存的进程，因为旋转驱动器的查找时间会在文件之间切换时导致性能下降。将日志文件加载到快速闪存驱动器或某种内存磁盘（物理或虚拟），或放弃多处理。

Answer 3

您正在创建一个包含与文件一样多的工作人员的池。那可能太多了。通常，我的目标是让工人数量与核心数量大致相同。

简单的事实是，您的最后一步将是将所有结果合并在一起的单个过程。鉴于您的问题描述，没有避免这种情况。这被称为屏障同步：所有任务必须在任何可以继续之前达到相同的点。

您应该多次运行此程序，或者循环运行，每次将不同的值传递给multiprocessing.Pool()，从1开始并转到核心数。每次运行的时间，看看哪个工人计数最好。

结果将取决于您的任务是CPU密集型（而不是磁盘密集型）。如果你的任务是大约一半的CPU和一半的磁盘，即使在一台8核的机器上，我也不会感到惊讶。

使用多处理读取多个文件

3 个答案: