将大型数据帧写入HDF5:RuntimeWarning

时间:2018-03-23 13:52:09

标签: python pandas hdf5

我有一个相当大的数据框df,其中包含3列stringintegerdate类型的列:

strings         object
integers        int64
times           datetime64[ns]
dtype: object

数据框有近20万行。我使用以下代码将df输出到HDF5文件:

store = pd.HDFStore('df.h5', 'w')
store.put('df', df, format='table')

然而,我收到警告:RuntimeWarning: Overflow encountered in long_scalars

我认为这是由于数据帧的大小与我在计算机上的内存量(小)相比。

有没有一种聪明的方法来规避这个问题,还是我只需要一台内存更多的电脑?

0 个答案:

没有答案