Question

我需要导入一个大的.txt文件（大约10GB）来进行一些计算。我在Python 2.7中使用Pandas。

基本上，我需要构建某些系列（列）的总和和平均值，条件是其他系列的值。更确切地说：我有关于生活在一个国家的个人的基本信息，例如，我想要了解每个城市人口的平均年龄。

我无法导入整个文件（因为它太大了），所以我在“chunks”中进行操作（使用read_table，chunksize）。对于每个计算，我不需要所有的块，只需要它们的一部分。

由于可能没有订购信息，我首先遍历所有块以识别哪些块具有每个城市的信息。因此，对于每个市政当局，我都有一个列表，其中包含至少包含一个属于它的观察的块的索引。

我想使用此列表仅选择那些块，但我无法以快速方式执行此操作。似乎唯一有效的方法是再次遍历所有块。

有没有办法在TextFileReader对象中直接选择“块”的子集而不必迭代所有这些？

Answer 1

我会尝试这样做：

res = \
pd.concat([df.assign(age=(pd.datetime.now() - df.dob).astype('m8[Y]').astype(int))
             .groupby(['country','municipality'])['age'].agg(['size','sum']).reset_index()
           for df in pd.read_csv('/path/to/file.txt', sep=..., chunksize=10**5) ],
          ignore_index=True)

res = res.groupby(['country','municipality'], as_index=False).sum()

这将为您提供每个市镇（size列）中的个人总数以及他们的年龄总和（sum列）。

sum/size - 将为您提供每个城市的平均年龄

更新：您可以使用以下技巧来动态计算年龄：

In [164]: df
Out[164]:
   country municipality        dob
0  Ukraine           m1 1950-01-01
1  Ukraine           m1 1960-12-14
2      USA           m2 1971-11-27
3      USA           m2 1982-11-09
4      USA           m3 1993-10-22
5  Germany           m1 2004-10-04
6  Germany           m2 2015-09-17

In [165]: df.assign(age=(pd.datetime.now() - df.dob).astype('m8[Y]').astype(int))
Out[165]:
   country municipality        dob  age
0  Ukraine           m1 1950-01-01   67
1  Ukraine           m1 1960-12-14   56
2      USA           m2 1971-11-27   45
3      USA           m2 1982-11-09   34
4      USA           m3 1993-10-22   23
5  Germany           m1 2004-10-04   12
6  Germany           m2 2015-09-17    1

UPDATE2： pd.read_csv()在您指定pandas.io.parsers.TextFileReader后立即返回DataFrame而不是chunksize：

In [6]: reader = pd.read_csv(r'D:\temp\.data\1.csv', chunksize=3, sep='\s+')

In [7]: type(reader)
Out[7]: pandas.io.parsers.TextFileReader

获得2行

In [12]: reader.get_chunk(2)
Out[12]:
      foo  foo.1   bar  bar.1  spam  spam.1
foo  0.00   0.35  0.83   0.84  0.90    0.89
foo  0.35   0.00  0.86   0.85  0.92    0.91

获得下一行

In [13]: reader.get_chunk(3)
Out[13]:
       foo  foo.1   bar  bar.1  spam  spam.1
bar   0.83   0.86  0.00   0.25  0.88    0.87
bar   0.84   0.85  0.25   0.00  0.82    0.86
spam  0.90   0.92  0.88   0.82  0.00    0.50

Answer 2

您可以使用：

for df1 in pd.read_csv('______.csv',chunksize=5):
    print(df1)
df

Python＆amp;大熊猫。如何使用TextFileReader对象中的“块”子集？

2 个答案: