我有一个相当大的数据框df
,其中包含3列string
,integer
和date
类型的列:
strings object
integers int64
times datetime64[ns]
dtype: object
数据框有近20万行。我使用以下代码将df
输出到HDF5文件:
store = pd.HDFStore('df.h5', 'w')
store.put('df', df, format='table')
然而,我收到警告:RuntimeWarning: Overflow encountered in long_scalars
我认为这是由于数据帧的大小与我在计算机上的内存量(小)相比。
有没有一种聪明的方法来规避这个问题,还是我只需要一台内存更多的电脑?