Python Pandas重新取样ipython内核意外死亡错误

Question

当我尝试以1秒的间隔重新采样数据时，我得到了ipython kernel died unexpectedly Error。 index_result约为60000000行，15列，日期时间对象为索引。从5秒到18小时重新采样时没有错误。但是，每当我想以1秒的间隔对其进行重新取样时，它就会给我kernel died unexpectely error。

以下是代码：

resample_interval= ['1S','5S','10S','15S','30S','60S','90S','120S','180S','240S',\
'5T','7T','10T','15T','30T','45T','1H','2H','3H','4H','6H','8H','12H','18H']

for idx,interval in enumerate(resample_interval):    
    locals()
['resample_result_'+resample_interval[idx]] = index_result.resample(resample_interval[idx], how={'Volume':np.sum, 'Ask Price':'ohlc', 'Bid Price':'ohlc', 'Price':'ohlc'})

Answer 1

背后的原因是内存问题。我有一个24G内存，但是这里的pandas占用了大块内存，因为我的数据帧真的很大。 我对这个问题的解决方案是对数据帧进行分块并逐段重新采样，然后将它们重新组合在一起。希望如果遇到同样的问题，这会有所帮助。