Question

我有一个3GB的CSV文件。我正在尝试使用Pandas将其保存为HDF格式，以便我可以更快地加载它。

import pandas as pd
import traceback

df_all = pd.read_csv('file_csv.csv', iterator=True, chunksize=20000)

for _i, df in enumerate(df_all):
    try:
        print ('Saving %d chunk...' % _i, end='')
        df.to_hdf('file_csv.hdf',
                  'file_csv',
                  format='table',
                  data_columns=True)
        print ('Done!')
    except:
        traceback.print_exc()
        print (df)
        print (df.info())

del df_all

原始CSV文件大约有300万行，这可以通过这段代码的输出反映出来。最后一行输出是：保存167块...完成！这意味着：167 * 20000 = 3.340.000行

我的问题是：

df_hdf = pd.read_hdf('file_csv.hdf')
df_hdf.count()

=＆GT; 4613行

和

item_info = pd.read_hdf('ItemInfo_train.hdf', where="item=1")

什么都不返回，即使我确定“item”列在原始文件中的条目等于1。

有什么不对？

Answer 1

使用append=True告诉to_hdf将新的块添加到同一个文件中。

    df.to_hdf('file_csv.hdf', ..., append=True)

否则，每个调用都会覆盖以前的内容，只有最后一个块保存在file_csv.hdf中。

import os
import numpy as np
import pandas as pd

np.random.seed(2016)
df = pd.DataFrame(np.random.randint(10, size=(100, 2)), columns=list('AB'))
df.to_csv('file_csv.csv')
if os.path.exists('file_csv.hdf'): os.unlink('file_csv.hdf')
for i, df in enumerate(pd.read_csv('file_csv.csv', chunksize=50)):
    print('Saving {} chunk...'.format(i), end='')
    df.to_hdf('file_csv.hdf',
              'file_csv', 
              format='table',
              data_columns=True,
              append=True)
    print('Done!')
    print(df.loc[df['A']==1])
print('-'*80)
df_hdf = pd.read_hdf('file_csv.hdf', where="A=1")
print(df_hdf)

打印

    Unnamed: 0  A  B
22          22  1  7
30          30  1  7
41          41  1  9
44          44  1  0
19          69  1  3
29          79  1  1
31          81  1  5
34          84  1  6

使用append=True告诉to_hdf将新的块添加到同一个文件中。否则，只有最后一个块保存在file_csv.hdf：

中

import os
import numpy as np
import pandas as pd

np.random.seed(2016)
df = pd.DataFrame(np.random.randint(10, size=(100, 2)), columns=list('AB'))
df.to_csv('file_csv.csv')
if os.path.exists('file_csv.hdf'): os.unlink('file_csv.hdf')
for i, df in enumerate(pd.read_csv('file_csv.csv', chunksize=50)):
    print('Saving {} chunk...'.format(i), end='')
    df.to_hdf('file_csv.hdf',
              'file_csv', 
              format='table',
              data_columns=True,
              append=True)
    print('Done!')
    print(df.loc[df['A']==1])
print('-'*80)
df_hdf = pd.read_hdf('file_csv.hdf', where="A=1")
print(df_hdf)

打印

    Unnamed: 0  A  B
22          22  1  7
30          30  1  7
41          41  1  9
44          44  1  0
19          69  1  3
29          79  1  1
31          81  1  5
34          84  1  6

Pandas HDF限制CSV文件的行数

1 个答案: