熊猫:这里的内存泄漏在哪里?

时间:2012-05-15 12:49:26

标签: python pandas

我在 python 中使用 pandas 库来解决内存泄漏问题。我在班级中创建pandas.dataframe个对象,我有方法,根据我的条件更改数据框大小。在更改数据框大小并创建新的pandas对象后,我在我的类中重写了原始的pandas.dataframe。但即使在显着减少初始表之后,内存使用率也非常高。一些代码用于简短示例(我没有编写流程管理器,请参阅任务管理器):

import time, string, pandas, numpy, gc
class temp_class ():

    def __init__(self, nrow = 1000000, ncol = 4, timetest = 5):

        self.nrow = nrow
        self.ncol = ncol
        self.timetest = timetest

    def createDataFrame(self):

        print('Check memory before dataframe creating')
        time.sleep(self.timetest)
        self.df = pandas.DataFrame(numpy.random.randn(self.nrow, self.ncol),
            index = numpy.random.randn(self.nrow), columns = list(string.letters[0:self.ncol]))
        print('Check memory after dataFrame creating')
        time.sleep(self.timetest)

    def changeSize(self, from_ = 0, to_ = 100):

        df_new = self.df[from_:to_].copy()
        print('Check memory after changing size')
        time.sleep(self.timetest)

        print('Check memory after deleting initial pandas object')
        del self.df
        time.sleep(self.timetest)

        print('Check memory after deleting copy of reduced pandas object')
        del df_new
        gc.collect()
        time.sleep(self.timetest)

if __name__== '__main__':

    a = temp_class()
    a.createDataFrame()
    a.changeSize()
  • 在创建数据帧之前,我有大约。 15 MB的内存使用量

  • 创建后 - 67mb

  • 更改尺寸后 - 67 mb

  • 删除原始数据框后 - 35mb

  • 删除缩减表格后 - 31 mb。

16 mb?

我在Windows 7(x64)机器上使用python 2.7.2(x32),pandas。版本是0.7.3。 numpy。版本是1.6.1

1 个答案:

答案 0 :(得分:26)

有几点要指出:

  1. 在“更改大小后检查内存”中,您尚未删除原始DataFrame,因此这将严格使用更多内存

  2. Python解释器对于保留操作系统内存有点贪心。

  3. 我调查了这一点,可以向你保证,大熊猫不会泄漏记忆。我正在使用memory_profiler(http://pypi.python.org/pypi/memory_profiler)包:

    import time, string, pandas, numpy, gc
    from memory_profiler import LineProfiler, show_results
    import memory_profiler as mprof
    
    prof = LineProfiler()
    
    @prof
    def test(nrow=1000000, ncol = 4, timetest = 5):
        from_ = nrow // 10
        to_ = 9 * nrow // 10
        df = pandas.DataFrame(numpy.random.randn(nrow, ncol),
                              index = numpy.random.randn(nrow),
                              columns = list(string.letters[0:ncol]))
        df_new = df[from_:to_].copy()
        del df
        del df_new
        gc.collect()
    
    test()
    # for _ in xrange(10):
    #     print mprof.memory_usage()
    
    show_results(prof)
    

    这是输出

    10:15 ~/tmp $ python profmem.py 
    Line #    Mem usage  Increment   Line Contents
    ==============================================
         7                           @prof
         8     28.77 MB    0.00 MB   def test(nrow=1000000, ncol = 4, timetest = 5):
         9     28.77 MB    0.00 MB       from_ = nrow // 10
        10     28.77 MB    0.00 MB       to_ = 9 * nrow // 10
        11     59.19 MB   30.42 MB       df = pandas.DataFrame(numpy.random.randn(nrow, ncol),
        12     66.77 MB    7.58 MB                             index = numpy.random.randn(nrow),
        13     90.46 MB   23.70 MB                             columns = list(string.letters[0:ncol]))
        14    114.96 MB   24.49 MB       df_new = df[from_:to_].copy()
        15    114.96 MB    0.00 MB       del df
        16     90.54 MB  -24.42 MB       del df_new
        17     52.39 MB  -38.15 MB       gc.collect()
    

    事实上,使用的内存比我们开始时更多。但是它在泄漏吗?

    for _ in xrange(20):
        test()
        print mprof.memory_usage()
    

    输出:

    10:19 ~/tmp $ python profmem.py 
    [52.3984375]
    [122.59375]
    [122.59375]
    [122.59375]
    [122.59375]
    [122.59375]
    [122.59375]
    [122.59375]
    [122.59375]
    [122.59375]
    [122.59375]
    [122.59375]
    [122.59375]
    [122.59375]
    [122.59375]
    [122.59375]
    [122.59375]
    [122.59765625]
    [122.59765625]
    [122.59765625]
    

    所以实际上正在发生的事情是Python进程持有内存池,因为它一直在使用它来避免不断地从主机操作系统请求更多内存(然后释放它)。我不知道这背后的所有技术细节,但至少是发生了什么。