大熊猫在异常情况下的内存泄漏

时间:2020-05-02 16:58:49

标签: python pandas memory-leaks pandas-groupby jupyter

我在Jupyter Lab中运行了一些环绕熊猫的图书馆。

基础数据帧很大(RAM中只有几Gb),并且在将子部分重新连接在一起之前,很多处理都是基于对数据帧子部分的迭代进行的。

使用试验/错误进行开发时,发生迭代的情况是在数据框子部分的极端情况下引发异常。但是,每次引发异常时,我都会看到内存使用量开始增加(htop),因此在引发过多异常之后,我必须重新启动内核。

对于最新的异常,sys.last_traceback会保留那些大对象的句柄(对于最新的异常),因此我认为我的大结构的句柄被保存在某个地方,不仅是针对最新的异常。

有什么想法可挖吗?

0 个答案:

没有答案