Question

我正在尝试使用csv.DictReader打开一个csv文件，仅读取前5行数据，执行脚本的主要过程，然后读取后5行并对它们执行相同的操作。冲洗并重复。

我相信我有一个可行的方法，但是我对未处理的数据的最后几行有疑问。我知道我需要修改if语句，以便它也可以检查我是否位于文件末尾，但是很难找到一种方法来做到这一点。我在网上找到了方法，但是它们涉及读取整个文件以获取行数，但是这样做会破坏此脚本的目的，因为我正在处理内存问题。

这是我到目前为止所拥有的：

import csv
count = 0
data = []
with open('test.csv') as file:
    reader = csv.DictReader(file)
    
    for row in reader:
        count +=1
        data.append(row)

        if count % 5 == 0 or #something to check for the end of the file:
            #do stuff
            data = []

谢谢您的帮助！

Answer 1

在读取csv时可以使用chunksize参数。这将逐步读取行数：

import pandas as pd
reader = pd.read_csv('test.csv', chunksize=5)
for df in reader:
    # do stuff

Answer 2

您可以处理for循环正文之后的其余行。您还可以使用更具Python特色的enumerate。

import csv

data = []
with open('test.csv') as file:
    reader = csv.DictReader(file)
    for count, row in enumerate(reader, 1):
        data.append(row)
        if count % 5 == 0:
            # do stuff
            data = []

    print('handling remaining lines at end of file')
    print(data)

考虑文件

a,b
1,1
2,2
3,3
4,4
5,5
6,6
7,7

输出

handling remaining lines at end of file
[OrderedDict([('a', '6'), ('b', '6')]), OrderedDict([('a', '7'), ('b', '7')])]

Answer 3

这是使用迭代器的一种方法

例如：

import csv

with open('test.csv') as file:
    reader = csv.DictReader(file)
    
    value = True
    while value:
        data = []
        for _ in range(5):             # Get 5 rows
            value = next(reader, False) 
            if value:
                data.append(value)
        print(data)   #List of 5 elements

Answer 4

按照您所写的内容行事，不包括任何其他导入内容：

import csv
data = []
with open('test.csv') as file:
    reader = csv.DictReader(file)

    for row in reader:
        data.append(row)
        if len(data) > 5:
            del data[0]
        if len(data) == 5:
            # Do something with the 5 elements
            print(data)

if语句允许在开始处理之前将数组加载5个元素。

class ZeroItterNumberException(Exception):
    pass
class ItterN:
    def __init__(self, itterator, n):
        if n<1:
            raise ZeroItterNumberException("{} is not a valid number of rows.".format(n))
        self.itterator = itterator
        self.n = n
        self.cache = []

    def __iter__(self):
        return self

    def __next__(self):
        self.cache.append(next(self.itterator))
        if len(self.cache) < self.n:
            return self.__next__()
        if len(self.cache) > self.n:
            del self.cache[0]
        if len(self.cache) == 5:
            return self.cache

遍历字典，一次5行

4 个答案: