MPI_Gatherv内存问题(MPI + C)

时间:2018-05-24 20:28:44

标签: c memory-leaks parallel-processing mpi

作为previous问题的延续,我修改了可变数量内核的代码。但是,在我的代码中实现Gatherv的方式似乎是不可靠的。一旦进入3-4次运行,收集缓冲区中的结束序列最终会被破坏,似乎是由于内存泄漏。示例代码:

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <mpi.h>

int main (int argc, char *argv[]) {

MPI_Init(&argc, &argv);
int world_size,*sendarray;
int rank, *rbuf=NULL, count,total_counts=0;
int *displs=NULL,i,*rcounts=NULL;

MPI_Comm_rank(MPI_COMM_WORLD, &rank);
MPI_Comm_size(MPI_COMM_WORLD, &world_size);

if(rank==0){
    displs = malloc((world_size+1)*sizeof(int));
    for(int i=1;i<=world_size; i++)displs[i]=0;
    rcounts=malloc(world_size*sizeof(int));

    sendarray=malloc(1*sizeof(int));
    for(int i=0;i<1;i++)sendarray[i]=1111;
    count=1;
}

if(rank!=0){
    int size=rank*2;
    sendarray=malloc(size*sizeof(int));
    for(int i=0;i<size;i++)sendarray[i]=rank;
    count=size;
}

MPI_Barrier(MPI_COMM_WORLD);

MPI_Gather(&count,1,MPI_INT,rcounts,1,MPI_INT,0,MPI_COMM_WORLD);

MPI_Barrier(MPI_COMM_WORLD);

if(rank==0){
    displs[0]=0;
    for(int i=1;i<=world_size; i++){
        for(int j=0; j<i; j++)displs[i]+=rcounts[j];
    }

    total_counts=0;
    for(int i=0;i<world_size;i++)total_counts+=rcounts[i];
    rbuf = malloc(10*sizeof(int));
}

MPI_Gatherv(sendarray, count, MPI_INT, rbuf, rcounts,
            displs, MPI_INT, 0, MPI_COMM_WORLD);

if(rank==0){
    int SIZE=total_counts;
    for(int i=0;i<SIZE;i++)printf("(%d) %d ",i, rbuf[i]);

    free(rbuf);
    free(displs);
    free(rcounts);
}

if(rank!=0)free(sendarray);
MPI_Finalize();

}

为什么会发生这种情况并且有办法解决它?

这在我的实际项目中变得更糟。每个发送缓冲区包含150个双打。接收缓冲区非常脏,有时我会在退出代码为6或11时出现床终止错误。

至少有人可以重现我的错误吗?

我猜:我在每个线程上分别为sendarray分配内存。如果我的虚拟机与硬件是1比1,则可能没有这样的问题。但我只有2个核心并运行4个或更多的进程。可能是原因吗?

1 个答案:

答案 0 :(得分:2)

更改此行:

rbuf = malloc(10*sizeof(int));

为:

rbuf = malloc(total_counts*sizeof(int));

作为旁注:每个MPI进程都存在于自己的进程地址空间中,除非通过MPI_XXX函数显式传递错误数据,否则它们不能踩踏每个数据,这会导致未定义的行为。