Question

我正在尝试将数据从进程0发送到进程1.当缓冲区大小小于64kb时，此程序成功，但如果缓冲区变得更大，则挂起。以下代码应该重现此问题（应该挂起），但如果将n修改为小于8000，则应该成功。

int main(int argc, char *argv[]){
  int world_size, world_rank,
      count;
  MPI_Status status;


  MPI_Init(NULL, NULL);

  MPI_Comm_size(MPI_COMM_WORLD, &world_size);
  MPI_Comm_rank(MPI_COMM_WORLD, &world_rank);
  if(world_size < 2){
    printf("Please add another process\n");
    exit(1);
  }

  int n = 8200;
  double *d = malloc(sizeof(double)*n);
  double *c = malloc(sizeof(double)*n);
  printf("malloc results %p %p\n", d, c);

  if(world_rank == 0){
    printf("sending\n");
    MPI_Send(c, n, MPI_DOUBLE, 1, 0, MPI_COMM_WORLD);
    printf("sent\n");
  }
  if(world_rank == 1){
    printf("recv\n");
    MPI_Recv(d, n, MPI_DOUBLE, 0, 0, MPI_COMM_WORLD, &status);

    MPI_Get_count(&status, MPI_DOUBLE, &count);
    printf("recved, count:%d source:%d tag:%d error:%d\n", count, status.MPI_SOURCE, status.MPI_TAG, status.MPI_ERROR);
  }

  MPI_Finalize();

}

Output n = 8200;
malloc results 0x1cb05f0 0x1cc0640
recv
malloc results 0x117d5f0 0x118d640
sending

Output n = 8000;
malloc results 0x183c5f0 0x184c000
recv
malloc results 0x1ea75f0 0x1eb7000
sending
sent
recved, count:8000 source:0 tag:0 error:0

我发现这个question和question类似，但我认为存在的问题是创建死锁。我不希望在这里遇到类似的问题，因为每个进程只执行一次发送或接收。

编辑：添加状态检查。

EDIT2：问题似乎是我安装了OpenMPI，但在安装MKL时还安装了Intel的MPI实现。我的代码是使用OpenMPI头文件和库编译的，但是使用的是英特尔的mpirun。当我确保使用OpenMPI中的mpirun可执行文件运行时，所有工作都按预期工作。

Answer 1

问题在于安装了英特尔的MPI和OpenMPI。我看到/usr/include/mpi.h归OpenMPI所有，但mpicc和mpirun来自英特尔的实现：

$ which mpicc
/opt/intel/composerxe/linux/mpi/intel64/bin/mpicc
$ which mpirun
/opt/intel/composerxe/linux/mpi/intel64/bin/mpirun

我能够通过运行

解决问题

/usr/bin/mpicc

和

/usr/bin/mpirun

确保我使用OpenMPI。

感谢@Zulan和@gsamaras关于检查我的安装的建议。

Answer 2

代码很好！我刚刚查看了3.1.3版本（mpiexec --version）：

linux16:/home/users/grad1459>mpicc -std=c99 -O1 -o px px.c -lm
linux16:/home/users/grad1459>mpiexec -n 2 ./px
malloc results 0x92572e8 0x9267330
sending
sent
malloc results 0x9dc92e8 0x9dd9330
recv
recved, count:8200 source:0 tag:0 error:1839744

因此，问题出在您的安装上。运行以下故障排除选项：

检查malloc的结果 ^*
检查status

我敢打赌malloc()的返回值是NULL，因为你提到如果你请求更多内存就会失败。可能是系统拒绝提供该内存。

我部分正确，问题出在安装上，但正如OP所说：

似乎问题是我安装了OpenMPI，但在安装MKL时还安装了Intel的MPI实现。我的代码是使用OpenMPI头文件和库编译的，但是使用Intel的mpirun运行。当我确保使用OpenMPI中的mpirun可执行文件运行时，所有工作都按预期工作。

* <子> checking that `malloc` succeeded in C

MPI发送和接收挂起的缓冲区大小超过64kb

2 个答案: