永远运行python脚本时如何不耗尽内存

时间:2019-05-13 20:52:40

标签: python-3.x memory-leaks infinite-loop

我有一个解析csv,删除旧数据并将新数据连续插入CentOS vm内的mongodb的脚本。几天和脚本崩溃后,我似乎内存不足。没有这个问题,我怎么能永远运行它。代码如下:

def CSV_TO_MONGO:
    '''
    '''

import gc
while True:
    CSV_TO_MONGO()
    gc.collect()

1 个答案:

答案 0 :(得分:0)

多处理似乎可以完成这项工作。但不确定是否是最好的方法。 目前,此方法一直有效,直到提出更好的解决方案为止。

编辑:发现mongodb是问题的一部分。连续执行批量删除和批量插入会消耗RAM。

def CSV_TO_MONGO:
    '''
    '''

from multiprocessing import Process
while True:
    p = Process(target=CSV_TO_MONGO)
    p.start()
    p.join()