我有一个解析csv,删除旧数据并将新数据连续插入CentOS vm内的mongodb的脚本。几天和脚本崩溃后,我似乎内存不足。没有这个问题,我怎么能永远运行它。代码如下:
def CSV_TO_MONGO:
'''
'''
import gc
while True:
CSV_TO_MONGO()
gc.collect()
答案 0 :(得分:0)
多处理似乎可以完成这项工作。但不确定是否是最好的方法。 目前,此方法一直有效,直到提出更好的解决方案为止。
编辑:发现mongodb是问题的一部分。连续执行批量删除和批量插入会消耗RAM。
def CSV_TO_MONGO:
'''
'''
from multiprocessing import Process
while True:
p = Process(target=CSV_TO_MONGO)
p.start()
p.join()