程序卡住,同时向从站 MPI 发送数据

时间:2021-04-26 22:01:27

标签: c performance parallel-processing mpi openmpi

我正在用 c 语言开发一个应用程序,其中用户想要在 2 维数组中找到特定模式的 2 位数字。

例如,有一个 10x10 的数组,其中包含随机的个位数,用户想要找到 1,0。我们的程序将搜索1,当它找到时,我们的程序将在所有方向(顶部、底部、侧面、对角线和反对角线)搜索0到深度1。简单地说,我们可以说它将在大小为 3x3 的子矩阵中在 1 的边上搜索零。函数 search_number() 正在执行搜索第二个数字的工作。

我已经为它实现了顺序代码,并且正在尝试将其转换为 MPI。

我是 MPI 的超级菜鸟,并且是第一次练习。

这是我对 MPI 的尝试。

#include <mpi.h>
#include <stdio.h>
#include <stdlib.h>
#include <time.h>

#define N   255
#define BS  N/2

MPI_Status status;
int search_number(int arr[N][N],int row,int col,int digit_2){
    int count=0;
    for (int i=row-1;i<=row+1;i++){     //from -row to +row = 3 indexes for rows
        for(int j=col-1;j<=col+1;j++){  //from -col to +col = 3 indexes for cols
            // skip for [row,col] and -1 for both [i,j] as well as till maximum size
            if(i<0 || j<0 || i>=N || j>=N || i==row && j==col) continue;
            if(arr[i][j] == digit_2){ //if second number is found, increase the counter
                count++;
            }
        }
    }
    return count;
}

int main(int argc, char **argv)
{
    int nproc,taskId,source,i,j,k,positionX,positionY;
    int sum=0;
    MPI_Datatype type;
    int a[N][N];

    MPI_Init(&argc, &argv);
    MPI_Comm_rank(MPI_COMM_WORLD, &taskId);
    MPI_Comm_size(MPI_COMM_WORLD, &nproc);

    MPI_Type_vector(N, BS, N, MPI_INT, &type);
    MPI_Type_commit(&type);

    //root
    if (taskId == 0) {
        srand( time(NULL) );
        //Generate two NxN matrix
        for (i=0; i<N; i++) {
            for (j=0; j<N; j++) {
                a[i][j]= rand()%10;
            }
        }

        printf("Passing 1st chunk:\n");
        // first chunk
        MPI_Send(&a[0][0], BS*N, MPI_INT,0,0, MPI_COMM_WORLD);
        MPI_Send(&a[0][0], BS*N, MPI_INT,1,1, MPI_COMM_WORLD);
        printf("Passing 2nd Chunk:\n");
        //second chunk
        MPI_Send(&a[BS][0], BS*N, MPI_INT,2,2, MPI_COMM_WORLD);
        MPI_Send(&a[BS][0], BS*N, MPI_INT,3,3, MPI_COMM_WORLD);
    }

    //workers
    source = 0;
    MPI_Recv(&a, N*N, MPI_INT, source, taskId, MPI_COMM_WORLD, &status);

    for(int i=0;i<N;i++){
        for(int j=0;j<N;j++){
            if (a[i][j]==1) { // if found 1, pass its index i,j to search_number() function
                sum+= search_number(a,i,j,0);  // funtion will return the count of 0's shared with 1
            }
        }
    }
    //Send result to root
    MPI_Send(&sum, BS, MPI_INT, 0, 4, MPI_COMM_WORLD);

    //root receives results
    if(taskId == 0)
    {
        printf("Count: %d\n",sum);
        // printMatrix(resultFinal);
    }

    MPI_Finalize();
}

我面临的问题是,如果我在顶部传递 set Passing Chunk 1,我的程序会卡在 N>255 行。但工作到 0 to 255。你能指出我的错误吗?

1 个答案:

答案 0 :(得分:1)

<块引用>

我面临的问题是我的程序卡在 Passing Chunk 1 行 如果我通过顶部设置 N>255。但工作到 0 到 255。

正如 @Gilles Gouaillardet 已经在评论中指出的那样,并且在 this answer 上有更详细的说明:

<块引用>

MPI_Send() 被允许阻塞直到一个匹配的接收被发布(并且 这通常发生在消息“大”时)...... 所需的匹配接收永远不会被发布。

一个典型的解决方法是在等级 0 上发出 MPI_Irecv(...,src = 0,...) 在 MPI_Send() 之前(和 MPI_Wait() 之后),或处理 0 -> 0 与 MPI_Sendrecv() 通信。

此外,您的并行化似乎是错误的,即:

MPI_Send(&a[0][0], BS*N, MPI_INT,0,0, MPI_COMM_WORLD);
MPI_Send(&a[0][0], BS*N, MPI_INT,1,1, MPI_COMM_WORLD);

向进程 0 和 1 发送相同的工作负载,并且:

MPI_Send(&a[BS][0], BS*N, MPI_INT,2,2, MPI_COMM_WORLD);
MPI_Send(&a[BS][0], BS*N, MPI_INT,3,3, MPI_COMM_WORLD);

与过程 2 和 3 相同的问题。

您应该尝试使用 stencil alike 方法,其中每个进程只共享它们之间的边界。例如,对于 4x4 矩阵和 4 个进程,可能的分布是:

  • process 0 适用于第 0、1 和 2 行;
  • process 1 适用于第 2、3 和 4 行;
  • process 2 适用于第 4、5、6 行;
  • process 3 适用于第 7、8、9 行;

目前,您向每个进程发送 BS*N 元素,但在:

MPI_Recv(&a, N*N, MPI_INT, source, taskId, MPI_COMM_WORLD, &status);

您指定您希望收到 N*N

此外:

   for(int i=0;i<N;i++){
        for(int j=0;j<N;j++){
            if (a[i][j]==1) { // if found 1, pass its index i,j to search_number() function
                sum+= search_number(a,i,j,0);  // funtion will return the count of 0's shared with 1
            }
        }
    }

进程正在处理他们没有收到的矩阵 a 的位置,自然不应该是这种情况。

终于代替了

//Send result to root
MPI_Send(&sum, BS, MPI_INT, 0, 4, MPI_COMM_WORLD);

您实际上应该使用 MPI_Reduce

<块引用>

将所有进程的值减少到一个值