我正在尝试使用python的多处理方法来加速我正在处理的程序。
python代码以串行方式运行,但是调用了mpi可执行文件。我希望这些调用是并行的,因为它们彼此独立。
对于python脚本的每一步,我都有一组必须由mpi程序完成的计算。
例如,如果我运行超过24个内核,我希望python脚本调用3个mpi可执行文件实例,每个实例运行在8个内核上。每次一个mpi可执行文件运行结束时,将启动另一个实例,直到队列的所有成员都完成为止。
我刚刚开始使用多处理,我相当确定这是可能的,但我不确定如何去做。我可以设置一个队列并启动多个进程,将下一组计算添加到队列中并启动它们就是问题所在。
如果某种善良的灵魂可以给我一些指示,或者一些示例代码,我最有责任!