Question

我有一个multiprocessing脚本，其中pool.map有效。问题是并非所有进程都需要花费很长时间才能完成，因此有些进程会等待，直到所有进程都完成（与this question中的问题相同）。有些文件在不到一秒的时间内完成，有些则需要几分钟（或几小时）。

如果我正确理解手册(and this post)，pool.imap不会等待所有进程完成，如果完成，则提供新文件进行处理。当我尝试这个时，脚本正在加速处理的文件，小的文件按预期处理，大文件（需要更多的时间来处理）不会完成直到最后（没有通知会被杀死？）。这是pool.imap的正常行为，还是需要添加更多命令/参数？当我在time.sleep(100)部分中添加else作为测试时，它正在处理更多大文件，但其他进程都处于睡眠状态。有什么建议？感谢

def process_file(infile):
    #read infile
    #compare things in infile
    #acquire Lock, save things in outfile, release Lock
    #delete infile

def main():
    #nprocesses = 8
    global filename
    pathlist = ['tmp0', 'tmp1', 'tmp2', 'tmp3', 'tmp4', 'tmp5', 'tmp6', 'tmp7', 'tmp8', 'tmp9']
    for d in pathlist:
        os.chdir(d)      
        todolist = []
        for infile in os.listdir():  
            todolist.append(infile)
        try:   
            p = Pool(processes=nprocesses)
            p.imap(process_file, todolist)
        except KeyboardInterrupt:                
            print("Shutting processes down")
           # Optionally try to gracefully shut down the worker processes here.       
            p.close()
            p.terminate()
            p.join()
        except StopIteration:
            continue     
        else:
            time.sleep(100)
            os.chdir('..')
        p.close()
        p.join() 

if __name__ == '__main__':
    main()

Answer 1

由于您已将所有文件放入列表中，因此可以将它们直接放入队列中。然后，队列将与您的子进程共享，这些子进程从队列中获取文件名并执行其操作。无需执行两次（首先进入列表，然后通过Pool.imap进行pickle列表）。 Pool.imap完全一样，但你不知道它。

todolist = []
for infile in os.listdir():  
    todolist.append(infile)

可以替换为：

todolist = Queue()
for infile in os.listdir():  
    todolist.put(infile)

完整的解决方案如下：

def process_file(inqueue):
    for infile in iter(inqueue.get, "STOP"):
        #do stuff until inqueue.get returns "STOP"
    #read infile
    #compare things in infile
    #acquire Lock, save things in outfile, release Lock
    #delete infile

def main():
    nprocesses = 8
    global filename
    pathlist = ['tmp0', 'tmp1', 'tmp2', 'tmp3', 'tmp4', 'tmp5', 'tmp6', 'tmp7', 'tmp8', 'tmp9']
    for d in pathlist:
        os.chdir(d)      
        todolist = Queue()
        for infile in os.listdir():  
            todolist.put(infile)
        process = [Process(target=process_file,
                      args=(todolist) for x in range(nprocesses)]
        for p in process:
            #task the processes to stop when all files are handled
            #"STOP" is at the very end of queue
            todolist.put("STOP")
        for p in process:
            p.start()
        for p in process:
            p.join()    
if __name__ == '__main__':
    main()

Python多处理池映射和imap

1 个答案: