Question

我想创建一个并行程序，它大量使用SCALAPACK。 SCALAPACK的基础是BLACS，它本身依赖于MPI进行进程间通信。

我想用定义数量的进程（例如机器上的核心数）启动程序，让算法决定如何使用这些进程进行计算。

作为测试用例，我想使用10个进程。其中9个进程应该排列在网格中（BLACS_GRIDINIT），第10个进程应该等到其他进程完成。

不幸的是，OpenMPI崩溃是因为最后一个进程没有进入BLACS的MPI上下文，而其他进程则没有。

问题：使用BLACS的正确方法是什么？需要更多进程？

我使用其他MPI_INIT和MPI_FINALIZE来电进行了一些实验，但我的尝试都没有成功。

我开始使用英特尔MKL的示例代码（稍微缩短一点）：

      PROGRAM HELLO 
*     -- BLACS example code --
*     Written by Clint Whaley 7/26/94 
*     Performs a simple check-in type hello world 
*     .. 
*     .. External Functions ..
      INTEGER BLACS_PNUM
      EXTERNAL BLACS_PNUM 
*     .. 
*     .. Variable Declaration ..
      INTEGER CONTXT, IAM, NPROCS, NPROW, NPCOL, MYPROW, MYPCOL
      INTEGER ICALLER, I, J, HISROW, HISCOL 

*     Determine my process number and the number of processes in 
*     machine 
      CALL BLACS_PINFO(IAM, NPROCS) 

*     Set up process grid that is as close to square as possible 
      NPROW = INT( SQRT( REAL(NPROCS) ) )
      NPCOL = NPROCS / NPROW 

*     Get default system context, and define grid
      CALL BLACS_GET(0, 0, CONTXT)
      CALL BLACS_GRIDINIT(CONTXT, 'Row', NPROW, NPCOL)
      CALL BLACS_GRIDINFO(CONTXT, NPROW, NPCOL, MYPROW, MYPCOL) 

*     If I'm not in grid, go to end of program 
      IF ( (MYPROW.GE.NPROW) .OR. (MYPCOL.GE.NPCOL) ) GOTO 30

*     Get my process ID from my grid coordinates 
      ICALLER = BLACS_PNUM(CONTXT, MYPROW, MYPCOL) 

*     If I am process {0,0}, receive check-in messages from 
*     all nodes 
      IF ( (MYPROW.EQ.0) .AND. (MYPCOL.EQ.0) ) THEN

         WRITE(*,*) ' '

         DO 20 I = 0, NPROW-1
            DO 10 J = 0, NPCOL-1

               IF ( (I.NE.0) .OR. (J.NE.0) ) THEN
                  CALL IGERV2D(CONTXT, 1, 1, ICALLER, 1, I, J)
               END IF 
*              Make sure ICALLER is where we think in process grid
              CALL BLACS_PCOORD(CONTXT, ICALLER, HISROW, HISCOL)
              IF ( (HISROW.NE.I) .OR. (HISCOL.NE.J) ) THEN
                 WRITE(*,*) 'Grid error!  Halting . . .'
                 STOP
              END IF
              WRITE(*, 3000) I, J, ICALLER
10         CONTINUE 
20      CONTINUE
        WRITE(*,*) ' '
        WRITE(*,*) 'All processes checked in.  Run finished.' 

*     All processes but {0,0} send process ID as a check-in
      ELSE
         CALL IGESD2D(CONTXT, 1, 1, ICALLER, 1, 0, 0)
      END IF

30    CONTINUE

      CALL BLACS_EXIT(0)

1000  FORMAT('How many processes in machine?') 
2000  FORMAT(I) 
3000  FORMAT('Process {',i2,',',i2,'} (node number =',I,
     $       ') has checked in.')

      STOP
      END

更新：我调查了BLACS的源代码，看看会发生什么。

调用BLACS_PINFO使用MPI_INIT初始化MPI上下文，如果之前没有发生的话。这意味着，在这一点上，一切都按预期工作。

最后，对BLACS_EXIT(0)的调用应释放BLACS的所有资源，如果参数为0，则还应调用MPI_FINALIZE。不幸的是，这不能按预期工作，我的上一个流程不会调用MPI_FINALIZE。

作为一种解决方法，可以询问MPI_FINALIZED并在必要时致电MPI_FINALIZE。

更新2：我以前的尝试是在Intel Studio 2013.0.079上使用OpenMPI 1.6.2和SUSE Linux Enterprise Server 11完成的。

在阅读ctheo的回答后，我尝试使用Ubuntu 12.04（gfortran 4.6.3, OpenMPI 1.4.3, BLACS 1.1）提供的工具编译此示例，并且成功。

我的结论是，英特尔的实施似乎是错误的。我将在不远的将来使用Intel Studio的最新服务版本重试此示例，但不要指望任何更改。

但是，我会感谢任何其他（也许是更好的）解决方案。

Answer 1

我不知道答案，我猜想参与SO的那些人以及那些知道你问题答案的人是＆lt; 1.但是，我建议您在scicomp或通过他们support page直接联系田纳西大学的ScaLAPACK团队时，可能会稍微好一点。祝你好运！

Answer 2

我认为你不需要在SCALAPACK中使用更少的进程。 BLACS_PINFO子例程返回进程总数。如果您想减少一个，请执行NPROCS = NPROCS - 1。我使用了您的示例代码（修复了FORMAT中的一些拼写错误），添加了减法并获得了以下输出：

$ mpirun -n 4 ./a.out 

Process { 0, 0} (node number = 0) has checked in.
Process { 0, 1} (node number = 1) has checked in.
Process { 0, 2} (node number = 2) has checked in.

 All processes checked in.  Run finished.

BLACS_GRIDINIT创建一个缩小NPROCS的网格。通过调用BLACS_GRIDINFO，一个进程获得MYPROW=MYPCOL=-1

另一方面，如果要创建使用不同进程的多个网格，那么可能应该使用BLACS_GRIDMAP子例程。下面的示例代码创建了两个相等的网格，其总大小为整个过程的一半。

      PROGRAM HELLO 
*     .. 
      INTEGER CONTXT(2), IAM, NPROCS, NPROW, NPCOL, MYPROW, MYPCOL
      INTEGER ICALLER, I, J, HISROW, HISCOL
      integer UMAP(2,10,10)
*     
      CALL BLACS_PINFO(IAM, NPROCS) 
      NPROCS = NPROCS/2
*     
      NPROW = INT( SQRT( REAL(NPROCS) ) )
      NPCOL = NPROCS / NPROW 
*     
      DO IP = 1, 2
        DO I = 1, NPROW
          DO J = 1, NPCOL
            UMAP(IP,I,J) = (IP-1)*NPROCS+(I-1)*NPCOL+(J-1)
          ENDDO
        ENDDO
        CALL BLACS_GET(0, 0, CONTXT(IP))
        CALL BLACS_GRIDMAP(CONTXT(IP), UMAP(IP,:,:), 10, NPROW, NPCOL )
      ENDDO
*
      DO IP = 1, 2
        CALL BLACS_GRIDINFO(CONTXT(IP), NPROW, NPCOL, MYPROW, MYPCOL) 
        IF(MYPROW.GE.0 .AND. MYPCOL.GE.0 ) THEN
          WRITE(*,1000) IAM, MYPROW, MYPCOL, IP
        END IF
      ENDDO

      CALL BLACS_EXIT(0)
 1000 FORMAT('Process ',i2,' is (',i2,','i2 ') of grid ',i2)
*
      STOP
      END

我得到了以下输出：

$ mpirun -n 8 ./a.out 
Process  0 is ( 0, 0) of grid  1
Process  1 is ( 0, 1) of grid  1
Process  2 is ( 1, 0) of grid  1
Process  3 is ( 1, 1) of grid  1
Process  4 is ( 0, 0) of grid  2
Process  5 is ( 0, 1) of grid  2
Process  6 is ( 1, 0) of grid  2
Process  7 is ( 1, 1) of grid  2

我没有在过程零中收集数据。因此，如果所有进程都是本地进程，则可以获得此输出

使用比使用的更多进程调用BLACS

2 个答案: