熊猫to_hdf（）溢出警告

Question

我需要将大数据帧保存到hdf5文件中，所以我使用了：

${data_${k}_store}

然后将显示运行时警告：

self.feature_concated.to_hdf(self.h5_result_name, key='feature_data', mode='a', format='table')

F:\Anaconda3\lib\site-packages\tables\leaf.py:357: RuntimeWarning: overflow encountered in long_scalars

但是当我不使用灵活格式的hdf时，就不会有这样的问题。

expected_mb = (expectedrows * rowsize) // MB

我想知道造成此问题的原因是什么，如何解决？

Answer 1

好吧，我在保存 Pandas 数据帧时收到了同样的消息：

RuntimeWarning: overflow encountered in long_scalars expected_mb = (expectedrows * rowsize) // MB

我已经解决了它设置数字列的数据类型：

df_book[["year","bnumber","cnumber","vnumber"]] = \
    df_book[["year","bnumber","cnumber","vnumber"]].apply(pd.to_numeric)

就我而言，我以前知道这些类型。