PETSC DMDA vec值分配到争用地点

时间:2016-08-05 17:31:34

标签: c++ petsc

我最近开始学习PETSc并在尝试完成一些简单的任务时遇到了问题。这段代码出了什么问题:

static char help[] = "Test  2d DMDAs Vecs.\n\n";
#include <petscdm.h>
#include <petscdmda.h>
#include <petscsys.h>
PetscReal process_value(int rank, int i) {
    return i*PetscPowScalar(10,rank*2);
}
int main(int argc,char **argv) {
  PetscErrorCode   ierr;
  PetscMPIInt      rank;
  PetscInt         M = -5,N = -3;
  DM               da;
  Vec              local,global;
  ierr = PetscInitialize(&argc,&argv,(char*)0,help);CHKERRQ(ierr);
  ierr  = MPI_Comm_rank(PETSC_COMM_WORLD,&rank);CHKERRQ(ierr);
  ierr = DMDACreate2d(PETSC_COMM_WORLD , DM_BOUNDARY_NONE , DM_BOUNDARY_NONE 
    , DMDA_STENCIL_BOX , M , N , PETSC_DECIDE, PETSC_DECIDE
    ,   1 , 1 , NULL ,  NULL ,  &da); CHKERRQ(ierr);
  ierr = DMCreateGlobalVector(da,&global);CHKERRQ(ierr);
  ierr = DMCreateLocalVector(da,&local);CHKERRQ(ierr);
  {
      PetscInt       v,i, j,   xm, ym, xs, ys;
      PetscScalar    **array;
      ierr = DMDAGetCorners(da, &xs, &ys, 0, &xm, &ym, 0); CHKERRQ(ierr);
      PetscSynchronizedPrintf(PETSC_COMM_WORLD,"%d:xs=%d\txm=%d\tys=%d\tym=%d\n",rank,xs,xm,ys,ym);
      PetscSynchronizedFlush(PETSC_COMM_WORLD,PETSC_STDOUT);
      ierr = DMDAVecGetArray(da, global, &array); CHKERRQ(ierr);
    v=0;
      for (j = ys; j < ys + ym; j++) {
      for (i = xs; i < xs + xm; i++) {
          array[j][i] = process_value(rank,v+=1);
      }
      }
    ierr = DMDAVecRestoreArray(da, global, &array); CHKERRQ(ierr);
  }
    ierr = VecView(global,PETSC_VIEWER_STDOUT_WORLD);CHKERRQ(ierr);
  ierr = VecDestroy(&local);CHKERRQ(ierr);
  ierr = VecDestroy(&global);CHKERRQ(ierr);
  ierr = DMDestroy(&da);CHKERRQ(ierr);
  ierr = PetscFinalize();
  return 0;
}

它使用流程等级标记的数量填充小数组。 成功编译和链接后,它会得到以下结果:

> mpiexec -n 2 ./problem  
0:xs=0  xm=3    ys=0    ym=3
1:xs=3  xm=2    ys=0    ym=3
Vec Object: 2 MPI processes
  type: mpi
Vec Object:Vec_0x84000004_0 2 MPI processes
  type: mpi
Process [0]
1.
2.
3.
100.
200.
4.
5.
6.
300.
Process [1]
400.
7.
8.
9.
500.
600.
> 

VecView显示进程已写入属于其他进程的位置。哪里出错? DMDAVecGetArray / DMDAVecRestoreArray给出错误的数组或者VecView不适合查看从DM对象获得的Vec?

1 个答案:

答案 0 :(得分:1)

DMDAVecGetArray()DMDAVecRestoreArray()完美无缺。实际上,您正在处理几年前mailing list of petsc中描述的VecView()功能。

按原样,VecView()使用自然排序从DMDA打印矢量。

proc0   proc1
1  2  | 3  4
5  6  | 7  8
___________
9  10 | 11 12
13 14 | 15 16
proc2   proc3

自然排序和Petsc排序之间的区别在documentation of Petsc,第2.5节中有关结构化网格的下划线。以下是Petsc的订购方式:

proc0   proc1
1  2  | 5  6
3  4  | 7  8
___________
9  10 | 13 14
11 12 | 15 16
proc2   proc3

在线程VecView doesn't work properly with DA global vectors 中发出信号,仍然可以使用Petsc的订购打印矢量:

PetscViewerPushFormat(PETSC_VIEWER_STDOUT_WORLD,PETSC_VIEWER_NATIVE);
VecView(global,PETSC_VIEWER_STDOUT_WORLD);
PetscViewerPopFormat(PETSC_VIEWER_STDOUT_WORLD);

让我们仔细看看Petsc的来源,了解它的工作原理。调用VecView()函数时,DMDA向量的DMCreateGlobalVector_DA()操作会被重载(请参阅dadist.c):gr2.c中的新方法为VecView_MPI_DA()。不出所料,它调用函数DMDACreateNaturalVector(),然后使用本机VecView()打印自然向量。如果使用格式PETSC_VIEWER_NATIVEvector interface会调用操作*vec->ops->viewnative,这可能指向pdvec.c中的原生VecView()函数VecView_MPI_ASCII()。这解释了VecView对DMDA载体的奇怪(但非常实用!)行为。

如果您希望保持自然顺序,您可以使用以下内容重新打印无意义的Process[0]...Process[3]

PetscViewerPushFormat(PETSC_VIEWER_STDOUT_WORLD, PETSC_VIEWER_ASCII_COMMON);