Python多处理:调用mpi可执行文件并在内核上分发

时间:2016-07-25 21:11:56

标签: python parallel-processing multiprocessing mpi python-multiprocessing

我正在尝试使用python的多处理方法来加速我正在处理的程序。

python代码以串行方式运行,但是调用了mpi可执行文件。我希望这些调用是并行的,因为它们彼此独立。

对于python脚本的每一步,我都有一组必须由mpi程序完成的计算。

例如,如果我运行超过24个内核,我希望python脚本调用3个mpi可执行文件实例,每个实例运行在8个内核上。每次一个mpi可执行文件运行结束时,将启动另一个实例,直到队列的所有成员都完成为止。

我刚刚开始使用多处理,我相当确定这是可能的,但我不确定如何去做。我可以设置一个队列并启动多个进程,将下一组计算添加到队列中并启动它们就是问题所在。

如果某种善良的灵魂可以给我一些指示,或者一些示例代码,我最有责任!

0 个答案:

没有答案