Question

想象一下，我正在读一个看起来像这样的数字的csv文件：

1,6.2,10
5.4,5,11
17,1.5,5
...

这真的很长。

我将使用像这样的csv阅读器迭代这个文件：

import csv
reader = csv.reader('numbers.csv')

现在假设我有一些函数可以使用像max：

这样的迭代器

max((float(rec[0]) for rec in reader))

这会找到第一列的最大值，而不需要将整个文件读入内存。

但是如果我想在csv文件的每一列上运行max，仍然没有将整个文件读入内存怎么办？

如果max被重写如下：

def max(iterator):
    themax = float('-inf')
    for i in iterator:
        themax = i if i > themax else themax
        yield
    yield themax

然后我可以做一些奇特的工作（并且有）来实现这一目标。

但是，如果我限制问题并且不允许重写最大值怎么办？这可能吗？

谢谢！

Answer 1

如果您对更具功能性的方法感到满意，可以使用functools.reduce来遍历文件，一次只将两行拉入内存，并在列出最大值时累积它们。

import csv
from functools import reduce

def column_max(row1, row2):
    # zip contiguous rows and apply max to each of the column pairs
    return [max(float(c1), float(c2)) for (c1, c2) in zip(row1, row2)]

reader = csv.reader('numbers.csv')
# calling `next` on reader advances its state by one row
first_row = next(reader)
column_maxes = reduce(column_max, reader, first_row)
#
#
# another way to write this code is to unpack the reduction into explicit iteration
column_maxes = next(reader) # advances `reader` to its second row
for row in reader:
    column_maxes = [max(float(c1), float(c2)) for (c1, c2) in zip(column_maxes, row)]

Answer 2

我只是放弃使用你传递迭代器的函数，而是通过读者自己迭代：

maxes = []
for row in reader:
    for i in range(len(row)):
        if i > len(maxes):
            maxes.append(row[i])
        else:
            maxes[i] = max(maxes[i], row[i])

最后，您将拥有包含每个最大值的列表maxes，而不会将整个文件存储在内存中。

Answer 3

def col_max(x0,x1):
    """x0 is a list of the accumulated maxes so far,
    x1 is a line from the file."""
    return [max(a,b) for a,b in zip(x0,x1)]

现在，functools.reduce（col_max，reader，initializer）将返回您想要的内容。您必须提供初始化程序作为正确长度的-inf列表。

将函数映射到列表迭代器的列

3 个答案: