我有一段代码从另一个函数接收回调并创建一个列表列表（pd_arr）。然后使用该列表创建数据框。最后删除列表清单。
使用memory-profiler进行性能分析时，这是输出
102.632812 MiB 0.000000 MiB init()
236.765625 MiB 134.132812 MiB add_to_list()
return pd.DataFrame()
394.328125 MiB 157.562500 MiB pd_df = pd.DataFrame(pd_arr, columns=df_columns)
350.121094 MiB -44.207031 MiB pd_df = pd_df.set_index(df_columns[0])
350.292969 MiB 0.171875 MiB pd_df.memory_usage()
350.328125 MiB 0.035156 MiB print sys.getsizeof(pd_arr), sys.getsizeof(pd_arr[0]), sys.getsizeof(pd_df), len(pd_arr)
350.328125 MiB 0.000000 MiB del pd_arr
在检查pd_df（数据帧）的深存储器使用情况时，它是80.5 MB。所以，我的问题是为什么在del pd_arr行之后内存不会减少。
此外，根据探查器（157 - 44 = 110 MB）的总数据帧大小似乎超过80 MB。那么，是什么导致了差异呢？
此外，是否有任何其他内存有效的方法来创建数据帧（在循环中接收的数据），这在时间性能上并不太差（例如：对于大小为100MB的数据帧，增量10秒应该没问题）？
编辑：解释此行为的简单python脚本
Filename: py_test.py
Line # Mem usage Increment Line Contents
================================================
9 102.0 MiB 0.0 MiB @profile
10 def setup():
11 global arr, size
12 102.0 MiB 0.0 MiB arr = range(1, size)
13 131.2 MiB 29.1 MiB arr = [x+1 for x in arr]
Filename: py_test.py
Line # Mem usage Increment Line Contents
================================================
21 131.2 MiB 0.0 MiB @profile
22 def tearDown():
23 global arr
24 131.2 MiB 0.0 MiB del arr[:]
25 131.2 MiB 0.0 MiB del arr
26 93.7 MiB -37.4 MiB gc.collect()
介绍数据框时，
Filename: py_test.py
Line # Mem usage Increment Line Contents
================================================
9 102.0 MiB 0.0 MiB @profile
10 def setup():
11 global arr, size
12 102.0 MiB 0.0 MiB arr = range(1, size)
13 132.7 MiB 30.7 MiB arr = [x+1 for x in arr]
Filename: py_test.py
Line # Mem usage Increment Line Contents
================================================
15 132.7 MiB 0.0 MiB @profile
16 def dfCreate():
17 global arr
18 147.1 MiB 14.4 MiB pd_df = pd.DataFrame(arr)
19 147.1 MiB 0.0 MiB return pd_df
Filename: py_test.py
Line # Mem usage Increment Line Contents
================================================
21 147.1 MiB 0.0 MiB @profile
22 def tearDown():
23 global arr
24 #del arr[:]
25 147.1 MiB 0.0 MiB del arr
26 147.1 MiB 0.0 MiB gc.collect()
答案 0 :(得分：3)
回答您的第一个问题，当您尝试使用del pd_arr清除内存时实际上这并不会发生，因为DataFrame存储了一个指向pd_arr的链接，并且顶级作用域保留了一个更多链接;减少refcounter不会收集内存，因为这个内存正在使用中。
您可以在sys.getrefcount(pd_arr)之前运行del pd_arr来检查我的假设，结果会得到2。
现在，我相信以下代码段与您尝试执行的操作相同：https://gist.github.com/vladignatyev/ec7a26b7042efd6f710d436afbfb87de/90df8cc6bbb8bd0cb3a1d2670e03aff24f3a5b24
如果您尝试使用此代码段，您将看到内存使用情况如下：
Line # Mem usage Increment Line Contents
================================================
13 63.902 MiB 0.000 MiB @profile
14 def to_profile():
15 324.828 MiB 260.926 MiB pd_arr = make_list()
16 # pd_df = pd.DataFrame.from_records(pd_arr, columns=[x for x in range(0,1000)])
17 479.094 MiB 154.266 MiB pd_df = pd.DataFrame(pd_arr)
18 # pd_df.info(memory_usage='deep')
19 479.094 MiB 0.000 MiB print sys.getsizeof(pd_arr), sys.getsizeof(pd_arr[0])
20 481.055 MiB 1.961 MiB print sys.getsizeof(pd_df), len(pd_arr)
21 481.055 MiB 0.000 MiB print sys.getrefcount(pd_arr)
22 417.090 MiB -63.965 MiB del pd_arr
23 323.090 MiB -94.000 MiB gc.collect()
试试这个例子：
@profile
def test():
a = [x for x in range(0,100000)]
del a
aa = test()
你会得到你所期望的：
Line # Mem usage Increment Line Contents
================================================
6 64.117 MiB 0.000 MiB @profile
7 def test():
8 65.270 MiB 1.152 MiB a = [x for x in range(0,100000)]
9 # print sys.getrefcount(a)
10 64.133 MiB -1.137 MiB del a
11 64.133 MiB 0.000 MiB gc.collect()
此外，如果您致电sys.getrefcount(a)，有时会在del a之前清理内存：
Line # Mem usage Increment Line Contents
================================================
6 63.828 MiB 0.000 MiB @profile
7 def test():
8 65.297 MiB 1.469 MiB a = [x for x in range(0,100000)]
9 64.230 MiB -1.066 MiB print sys.getrefcount(a)
10 64.160 MiB -0.070 MiB del a
但是当您使用pandas
如果您打开pandas.DataFrame的源代码，您会看到，当您使用DataFrame初始化list时，pandas会创建新的NumPy数组和副本它的内容。看看这个：https://github.com/pandas-dev/pandas/blob/master/pandas/core/frame.py#L329
删除pd_arr不会释放内存，因为pd_arr会在DataFrame创建后退出并退出您的功能，因为它没有任何额外的内容链接到它。 getrefcount之前和之后的电话证明了这一点。
从普通列表创建新的DataFrame使您的列表与NumPy Array一起复制。 （查看np.array(data, dtype=dtype, copy=copy)以及有关array）的相应文档
复制操作可能会影响执行时间，因为分配新的内存块是一项繁重的操作。
我尝试使用Numpy数组初始化新的DataFrame。唯一的区别是出现numpy.Array内存开销。比较以下两个片段：
def make_list(): # 1
pd_arr = []
for i in range(0,10000):
pd_arr.append([x for x in range(0,1000)])
return np.array(pd_arr)
和
def make_list(): #2
pd_arr = []
for i in range(0,10000):
pd_arr.append([x for x in range(0,1000)])
return pd_arr
数字＃1（创建DataFrame不会产生内存使用开销！）：
Line # Mem usage Increment Line Contents
================================================
14 63.672 MiB 0.000 MiB @profile
15 def to_profile():
16 385.309 MiB 321.637 MiB pd_arr = make_list()
17 385.309 MiB 0.000 MiB print sys.getrefcount(pd_arr)
18 385.316 MiB 0.008 MiB pd_df = pd.DataFrame(pd_arr)
19 385.316 MiB 0.000 MiB print sys.getsizeof(pd_arr), sys.getsizeof(pd_arr[0])
20 386.934 MiB 1.617 MiB print sys.getsizeof(pd_df), len(pd_arr)
21 386.934 MiB 0.000 MiB print sys.getrefcount(pd_arr)
22 386.934 MiB 0.000 MiB del pd_arr
23 305.934 MiB -81.000 MiB gc.collect()
数字＃2（由于复制数组而导致超过100Mb的开销）！：
Line # Mem usage Increment Line Contents
================================================
14 63.652 MiB 0.000 MiB @profile
15 def to_profile():
16 325.352 MiB 261.699 MiB pd_arr = make_list()
17 325.352 MiB 0.000 MiB print sys.getrefcount(pd_arr)
18 479.633 MiB 154.281 MiB pd_df = pd.DataFrame(pd_arr)
19 479.633 MiB 0.000 MiB print sys.getsizeof(pd_arr), sys.getsizeof(pd_arr[0])
20 481.602 MiB 1.969 MiB print sys.getsizeof(pd_df), len(pd_arr)
21 481.602 MiB 0.000 MiB print sys.getrefcount(pd_arr)
22 417.621 MiB -63.980 MiB del pd_arr
23 330.621 MiB -87.000 MiB gc.collect()
因此，仅使用Numpy数组初始化DataFrame，而不是list。从内存消耗角度看它更好，可能更快，因为它不需要额外的内存分配调用。
希望，现在我已经回答了你所有的问题。