Question

我有一个已经在多个主题中讨论过的问题，不过，我想更深入一点，也许可以找到一个更好的解决方案。

因此，想法是使用python浏览“巨大”（50至60GB）的.csv文件，找到满足某些条件的行，提取它们，最后将它们存储在第二个变量中以供进一步分析。

最初的问题是我用sparklyr连接管理的r脚本，或者最终是bash中的一些gawk代码（请参阅awk或gawk）来提取我需要的数据，然后用R / python分析。

我想专门使用python解决此问题，其目的是避免混合使用bash / python或bash / R（unix）之类的语言。到目前为止，我将open用作x，并逐行浏览文件，虽然有点奏效，但是速度非常慢。例如，浏览文件非常快（每秒大约500.000行，即使58M行也可以），但是当我尝试存储数据时，速度下降到每秒10行。对于约300.000行的提取，这是不可接受的。

我尝试了几种解决方案，但我猜这不是最佳解决方案（可怜的python代码？:(），最终存在更好的解决方案。

解决方案1：遍历文件，将行拆分为列表，检查条件，如果可以，请将该行放入numpy矩阵和vstack中，以满足每次迭代的条件（非常慢）

import csv
import numpy
import pandas
from tqdm import tqdm

date_first = '2008-11-01'
date_last = '2008-11-10'

a = numpy.array(['colnames']*35) #data is 35 columns
index = list()

with open("data.csv", "r") as f:
    for line in tqdm(f, unit = " lines per"):
        line = line.split(sep = ";") # csv with ";" ...
        date_file = line[1][0:10] # date stored in the 2nd column 

        if  date_file >= date_first and date_file <= date_last : #data extraction concern a time period (one month for example)
            line=numpy.array(line) #go to numpy
            a=numpy.vstack((a, line)) #stack it

解决方案2：相同，但如果条件良好（非常慢），则将行存储在具有行索引的pandas data.frame中

import csv
import numpy
import pandas
from tqdm import tqdm

date_first = '2008-11-01'
date_last = '2008-11-10'
row = 0 #row index
a = pandas.DataFrame(numpy.zeros((0,35)))#data is 35 columns

with open("data.csv", "r") as f:
    for line in tqdm(f, unit = " lines per"):
        line = line.split(sep = ";")
        date_file = line[1][0:10]

        if  date_file>=date_first and date_file<=date_last :
            a.loc[row] = line #store the line in the pd.data.frame at the position row
            row = row + 1 #go to next row

解决方案3：相同，但是不要将行存储在某个地方（这对我来说是主要问题），请保留一个满足行的索引，然后用我需要的行打开csv < em>（甚至更慢，实际上遍历文件以找到索引足够快，打开索引的行非常慢）

import csv
import numpy
import pandas
from tqdm import tqdm

date_first = '2008-11-01'
date_last = '2008-11-10'
row = 0
index = list()

with open("data.csv", "r") as f:
    f = csv.reader(f, delimiter = ";")
    for line in tqdm(f, unit = " lines per"):
        line = line.split(sep = ";")
        date_file = line[1][0:10]
        row = row + 1
        if  date_file>=date_first and date_file<=date_last :
            index.append(row)

with open("data.csv") as f:
    reader=csv.reader(f)
    interestingrows=[row for idx, row in enumerate(reader) if idx in index]

这个想法是只保留满足条件的数据，这里是特定月份的数据。我不明白问题出在哪里，将数据保存在某个地方（vstack或在pd.DF中写入）绝对是个问题。我很确定我做错了什么，但是我不确定在哪里/做什么。

数据是具有35列和超过5700万行的csv。感谢您的阅读

O。

Answer 1

追加到数据帧和numpy数组非常昂贵，因为每个追加都必须将整个数据复制到新的内存位置。相反，您可以尝试分块读取文件，处理数据并追加回去。在这里，我选择的块大小为100,000，但是您显然可以更改它。

我不知道您CSV的列名，所以我猜到了'date_file'。这应该使您接近：

import pandas as pd

date_first = '2008-11-01'
date_last = '2008-11-10'

df = pd.read_csv("data.csv", chunksize=100000)

for chunk in df:
    chunk = chunk[(chunk['date_file'].str[:10] >= date_first)
                  & (chunk['date_file'].str[:10] <= date_last)]
    chunk.to_csv('output.csv', mode='a')

逐行读取csv文件并保存满足某些条件的行

1 个答案: