标签: multiprocessing python-3.5
我有28个内核,因此在Python中使用multiprocessing时,当我需要启动全部28个内核时,要花一些时间来启动进程。
multiprocessing
我考虑过在程序开始时启动一次池,并在每次需要时重新使用它。但是,如果我不使用pool.close()而继续使用进程,则会发生内存问题。
pool.close()
是否可以在不关闭处理器的情况下释放内存?
一个解决方案是maxtasksperchild,如图here所示。但是,该过程必须在任务完成后重新启动,因此会导致延迟,这是我一直在努力避免的。
maxtasksperchild