Question

我正在开发一个使用pandas数据帧和大型词典的程序。该数据帧是从大约CSV读取的。 700MB。

我正在Windows上使用Python 3.7.3

我注意到我正在运行的程序非常慢，并且在每次算法循环后都会变慢。

程序读取数据帧的每一行，检查df每行的每个项目上的某些条件，如果满足这些条件，则它将项目及其状态存储在字典中。这个字典可以变得很大。

我尝试使用CProfile对代码进行性能分析，并且发现garbage-collector是使用大约90％的执行时间的函数。

我看到通过致电gc.disable()解决了类似的问题，但这对我没有任何帮助。

很奇怪（我不知道这是否正常），但是如果我将print(len(gc.get_objects()))作为代码的第一行，我得到51053，这似乎在考虑很多因素，因为尚未调用任何函数。

我的CProfile尝试：（仅占CSV的一小部分，因为要完成整个CSV的尝试将花费数小时）

cProfile.run('get_pfs_errors("Logs/L5/L5_2000.csv")', 'restats.txt')


import pstats
from pstats import SortKey
p = pstats.Stats('restats.txt')
p.sort_stats(SortKey.CUMULATIVE).print_stats(10)
p.sort_stats(SortKey.TIME).print_stats(10)

以下是CProfile的统计信息：

Tue Jun 18 15:40:19 2019    restats.txt

         1719320 function calls (1459451 primitive calls) in 7.569 seconds

   Ordered by: cumulative time
   List reduced from 819 to 10 due to restriction <10>

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    7.569    7.569 {built-in method builtins.exec}
        1    0.001    0.001    7.569    7.569 <string>:1(<module>)
        1    0.000    0.000    7.568    7.568 C:/Users/BC744818/Documents/OPTISS_L1_5/test_profile.py:6(get_pfs_errors)
        1    0.006    0.006    7.503    7.503 C:\Users\BC744818\Documents\OPTISS_L1_5\utils\compute_pfs_rules.py:416(compute_pfs_rules)
        1    0.197    0.197    7.498    7.498 C:\Users\BC744818\Documents\OPTISS_L1_5\utils\compute_pfs_rules.py:323(test_logs)
      264    0.001    0.000    6.532    0.025 C:\Users\BC744818\Documents\OPTISS_L1_5\venv\lib\site-packages\pandas\core\series.py:982(__setitem__)
      529    0.010    0.000    6.158    0.012 C:\Users\BC744818\Documents\OPTISS_L1_5\venv\lib\site-packages\pandas\core\generic.py:3205(_check_setitem_copy)
      528    6.125    0.012    6.125    0.012 {built-in method gc.collect}
      264    0.004    0.000    3.430    0.013 C:\Users\BC744818\Documents\OPTISS_L1_5\venv\lib\site-packages\pandas\core\series.py:985(setitem)
      264    0.004    0.000    3.413    0.013 C:\Users\BC744818\Documents\OPTISS_L1_5\venv\lib\site-packages\pandas\core\indexing.py:183(__setitem__)


Tue Jun 18 15:40:19 2019    restats.txt

         1719320 function calls (1459451 primitive calls) in 7.569 seconds

   Ordered by: internal time
   List reduced from 819 to 10 due to restriction <10>

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
      528    6.125    0.012    6.125    0.012 {built-in method gc.collect}
      264    0.405    0.002    0.405    0.002 {built-in method gc.get_objects}
        1    0.197    0.197    7.498    7.498 C:\Users\BC744818\Documents\OPTISS_L1_5\utils\compute_pfs_rules.py:323(test_logs)
 71280/33    0.048    0.000    0.091    0.003 C:\Users\BC744818\AppData\Local\Programs\Python\Python37\lib\copy.py:132(deepcopy)
   159671    0.033    0.000    0.056    0.000 {built-in method builtins.isinstance}
      289    0.026    0.000    0.026    0.000 {built-in method nt.stat}
167191/83791    0.024    0.000    0.040    0.000 C:\Users\BC744818\AppData\Local\Programs\Python\Python37\lib\json\encoder.py:333(_iterencode_dict)
  8118/33    0.019    0.000    0.090    0.003 C:\Users\BC744818\AppData\Local\Programs\Python\Python37\lib\copy.py:236(_deepcopy_dict)
167263/83794    0.017    0.000    0.048    0.000 C:\Users\BC744818\AppData\Local\Programs\Python\Python37\lib\json\encoder.py:277(_iterencode_list)
 1067/800    0.017    0.000    0.111    0.000 C:\Users\BC744818\Documents\OPTISS_L1_5\venv\lib\site-packages\pandas\core\indexes\base.py:253(__new__)

Answer 1

谢谢@ user9993950，感谢您，我解决了它。

测试该程序时，我有一个SettingWithCopyWarning，但我想在修复此警告之前先确定程序的速度。

尽管如此，通过修复警告，我也大大提高了程序的速度，gc不再占用所有运行时间

我不知道是什么原因造成的，如果有人知道并想分享这些知识，请这样做。

Python-垃圾收集非常慢，无法禁用gc

1 个答案: