Question

我想使用mpi4py来平行优化问题。为了最小化我的功能，我使用scipy的最小化例程

from scipy.optimize import minimize

def f(x, data) :
    #returns f(x)
x = minimize(f, x0, args=(data))

现在，如果我想使用mpi4py并行化我的功能。最小化算法的实现是顺序的，并且只能在一个进程上运行，因此只有我的函数被并行化，这不是问题，因为函数调用是最耗时的步骤。但我无法通过并行和顺序部分来弄清楚如何实现这个问题。

这是我的尝试：

from scipy.optimize import minimize
from mpi4py import MPI

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

N = 100 # for testing
step = N//size # say that N is divisible by size
def mpi_f(x, data) :
    x0 = x[rank*step:(rank+1)*step]
    res = f(x0, data)
    res = comm.gather(res, root=0)
    if rank == 0 :
        return res

if rank == 0 :
   x = np.zeros(N)
   xs = minimize(mpi_f, x, args=(data))

这显然不起作用，因为mpi_f只在进程0上运行。所以我问我该怎么办？

感谢。

Answer 1

在您的代码中，根进程是唯一一个调用comm.gather()的进程，因为根进程是唯一调用并行化成本函数的进程。因此，该计划面临僵局。你很清楚这个问题。

要克服此死锁，其他进程必须调用成本函数，因为minimize需要它。由于事先不知道此调用次数，while循环似乎适合这些过程。

定义while循环的停止条件。这个标志是从根进程到所有进程的brodcast，因为根进程是唯一意识到minimize()函数结束这一事实的进程。广播必须在成本函数中执行，因为所有进程必须在每次迭代时测试最小化函数的结束。由于minimize使用函数的返回值，因此标志为passed by reference via a mutable type

最后，这是您的问题的潜在解决方案。它由mpirun -np 4 python main.py运行。我使用fmin()而不是minimize()，因为我的scipy版本已经过时了。

#from scipy.optimize import minimize
from scipy.optimize import fmin
from mpi4py import MPI
import numpy as np

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

N = 100 # for testing
step = N//size # say that N is divisible by size

def parallel_function_caller(x,stopp):
    stopp[0]=comm.bcast(stopp[0], root=0)
    summ=0
    if stopp[0]==0:
        #your function here in parallel
        x=comm.bcast(x, root=0)
        array= np.arange(x[0]-N/2.+rank*step-42,x[0]-N/2.+(rank+1)*step-42,1.)
        summl=np.sum(np.square(array))
        summ=comm.reduce(summl,op=MPI.SUM, root=0)
        if rank==0:
            print "value is "+str(summ)
    return summ

if rank == 0 :
   stop=[0]
   x = np.zeros(1)
   x[0]=20
   #xs = minimize(parallel_function_caller, x, args=(stop))
   xs = fmin(parallel_function_caller,x0= x, args=(stop,))
   print "the argmin is "+str(xs)
   stop=[1]
   parallel_function_caller(x,stop)

else :
   stop=[0]
   x=np.zeros(1)
   while stop[0]==0:
      parallel_function_caller(x,stop)

使用mpi4py并行化函数调用

1 个答案: