带有MPI_Type_struct的MPI_Scatterv子矩阵

Question

我目前正在开发一个MPI程序，我正在尝试向所有进程发送带有scatterv的矩阵块。

流程描述

矩阵以数组形式给出。 首先，我使用MPI_Type_vector生成一个数据类型，以便从原始数组中创建必要的块。 其次，我创建了一个MPI_Type_struct，它应该包含多行块。

#include <math.h>
#include <mpi.h>
#include <stdio.h>
#include <stdlib.h>

#define n 16

int main(int argc, char *argv[])
{
  MPI_Init(&argc, &argv);
  MPI_Comm comm = MPI_COMM_WORLD;
  int p,r;
  MPI_Comm_size(comm, &p);
  MPI_Comm_rank(comm, &r);
  int *arr;
  arr = NULL;
  if (r == 0){
    arr = (int *) malloc(n * n * sizeof(int));
    for (int i = 0; i < n * n; i++) arr[i] = i;
    for (int i = 0; i < n; i++){
      printf("\n");
      for (int j = 0; j < n; j++)
        printf("%4d", arr[i * n + j]);
    }
  }
  printf("\n");
  int ps = sqrt(p);
  int ns = n / ps;

  if (r == 0) {
    printf("ps: %d ns: %d\n", ps, ns);
  }
  /* create datatype */
  MPI_Datatype block;
  MPI_Type_vector(ns, ns, n, MPI_INT, &block);
  int blocks[ps];
  MPI_Aint displs[ps];
  for (int i = 0; i < ps; i++) { 
    blocks[i] = 1;
    displs[i] = i  * sizeof(int);
  }
  MPI_Datatype types[ps];
  //for (int i = 0; i < ps - 1; i++) types[i] = block;
  //types[ps - 1] = MPI_UB;
  types[0] = block;
  for (int i = 1; i < ps; i++) types[i] = MPI_UB; 
  //types[0] = block;
  //types[1] = MPI_UB;
  if (r == 0) {
    printf("displs:\n");
    for(int i = 0; i < ps; i++) printf("%3ld", displs[i]);
    printf("\n");
  }

  MPI_Datatype row;
  MPI_Type_struct(ps, blocks, displs, types, &row);
  MPI_Type_commit(&row);

  /* prepare scatter */
  int sdispl[p]; int sendcounts[p];
  for (int i = 0; i < p; i++) {
    sdispl[i] = (i % ps) + (i / ps) * (ns * ps);
    sendcounts[i] = 1;
  }
  if (r == 0) {
    printf("sdispl: \n");
    for (int i = 0; i < 4; i++) printf("%3d", sdispl[i]);
    printf("\n");
  }

  int rcv[ns * ns];
  MPI_Scatterv(arr, sendcounts, sdispl, row, rcv, ns * ns, MPI_INT, 0, comm);

  int result = 1;
  if (r == result) {
    printf("result for %d:\n", result);
    for (int i = 0; i < ns * ns; i++) {
      printf("%4d", rcv[i]);
      if ((i+1) % ns == 0) printf("\n");
    }
  }

  if (arr != NULL) free(arr);
  MPI_Finalize();
  return 0;
}

到目前为止，块的结构是正确的。

问题

发送到进程r = 1的块以3而不是4开始。进程r = 2的块也以6开始，进程r = 3的块以9开始。 对于r == 4，它跳到48。

应该做什么

开始 0 0
1 4
2 8
3 12
4 64
5 68
6 ...
15 204

我需要的帮助

我想，我在使用displ和sdispl时犯了一些错误。

编译并运行示例

使用以下命令编译代码：

mpicc -o main main.c -lm

我用以下代码运行代码：

mpirun -np 16 ./main

提前感谢您的帮助！

Answer 1

凭借祖兰的暗示，我能够解决我的问题。

以下代码基于对subarrays的出色答案。

#include <math.h>
#include <mpi.h>
#include <stdio.h>
#include <stdlib.h>

#define n 8

void print_arr(int *arr, int x) {
  printf("\n");
  for (int i = 0; i < x*x; i++){
    if (i % x == 0) printf("\n");
    printf("%4d", arr[i]);
  }
  printf("\n");
}

int main(int argc, char *argv[])
{
  MPI_Init(&argc, &argv);
  MPI_Comm comm = MPI_COMM_WORLD;
  int p, r;
  MPI_Comm_size(comm, &p);
  MPI_Comm_rank(comm, &r);

  /* number of proceses in dim x and dim y */
  int ps = sqrt(p);

  /* number of elements in dim x and dim y in sarr */
  int ns = n/ps;

  /* array of data - distributed by process 0 */
  int *arr = NULL;
  if (r==0) {
    arr = (int *) malloc(n * n * sizeof(int));
    for (int i = 0; i < n*n; i++) arr[i] = i;
    print_arr(arr, n);
  }

  MPI_Datatype type, resizedtype;
  int sizes[2] = {n,n};
  int subsizes[2] = {ns,ns};
  int starts[2] = {0,0};

  MPI_Type_create_subarray(2, sizes, subsizes, starts, MPI_ORDER_C, MPI_INT, &type);
  MPI_Type_create_resized(type, 0, ns*sizeof(int), &resizedtype);
  MPI_Type_commit(&resizedtype);

  int counts[p];
  for (int i = 0; i < p; i++) counts[i] = 1;
  int displs[p];
  for (int i = 0; i < p; i++) displs[i] = i%ps + i/ps * ns * ps;

  /* subarray to store distributed data */
  int sarr[ns * ns];

  /* send submatrices to all processes */
  MPI_Scatterv(arr, counts, displs, resizedtype, sarr, ns*ns, MPI_INT, 0, comm);

  /* print received data for process pr */
  int pr = 3;
  if (r == pr)
    print_arr(sarr, ns);

  /* free arr */
  if (arr != NULL) free(arr);

  MPI_Finalize();
  return 0;
}

您可以使用

编译示例

mpicc -o main main.c

并使用

运行它

mpirun -np 4 ./main