Question

我有一个简单的C ++结构，它基本上包装了一个标准的C数组：

struct MyArray {
    T* data;
    int length;
    // ...
}

其中T是一种数字类型，如float或double。 length是数组中元素的数量。通常我的数组非常大（数万到数千万个元素）。

我有一个MPI程序，我想通过MPI 3共享内存公开两个MyArray实例，比如a_old和a_new作为共享内存对象。上下文是每个MPI等级从a_old读取。然后，每个MPI等级写入a_new的某些索引（每个等级仅写入其自己的索引集 - 没有重叠）。最后，必须在所有等级上设置a_old = a_new。 a_old和a_new的大小相同。现在我通过将每个等级的更新值与其他等级同步（Isend/Irecv）来使我的代码工作。但是，由于数据访问模式，我没有理由需要产生消息传递的开销，而是可以有一个共享内存对象，只是在a_old = a_new之前设置一个障碍。我认为这会给我更好的表现（但如果我错了请纠正我。）

我无法找到使用MPI 3共享内存的完整代码示例。大多数网站仅提供参考文档或不完整的代码段。有人可以通过一个简单的完整的代码示例来完成我正在尝试实现的事情（通过MPI共享内存更新和同步数字数组）吗？我理解创建共享内存通信器和窗口，设置围栏等的主要概念，但是看到一个将所有内容组合在一起的示例确实有助于我的理解。

另外，我应该提一下，我只会在一个节点上运行我的代码，所以我不需要担心跨节点需要多个共享内存对象的副本;我只需要为我的MPI进程运行的单个节点提供一份数据副本。尽管如此，在这种情况下，像OpenMP这样的其他解决方案对我来说是不可行的，因为我有大量的MPI代码，并且为了我想要分享的一个或两个数组而无法重写所有内容。

Answer 1

在MPI-3上使用共享内存相对简单。

首先，使用MPI_Win_allocate_shared分配共享内存窗口：

MPI_Win win;
MPI_Aint size;
void *baseptr;

if (rank == 0)
{
   size = 2 * ARRAY_LEN * sizeof(T);
   MPI_Win_allocate_shared(size, sizeof(T), MPI_INFO_NULL,
                           MPI_COMM_WORLD, &baseptr, &win);
}
else
{
   int disp_unit;
   MPI_Win_allocate_shared(0, sizeof(T), MPI_INFO_NULL,
                           MPI_COMM_WORLD, &baseptr, &win);
   MPI_Win_shared_query(win, 0, &size, &disp_unit, &baseptr);
}
a_old.data = baseptr;
a_old.length = ARRAY_LEN;
a_new.data = a_old.data + ARRAY_LEN;
a_new.length = ARRAY_LEN;

这里，只有0级分配内存。在共享时，哪个进程分配它并不重要。甚至可以让每个进程分配一部分内存，但由于默认情况下分配是连续的，因此两种方法都是等效的。然后，所有其他进程使用MPI_Win_shared_query来查找共享内存块开头的虚拟地址空间中的位置。该地址可能因行列而异，因此不应传递绝对指针。

您现在可以分别从a_old.data加载并存储到a_new.data a_old。由于您的案例中的排名适用于不相交的内存位置集，因此您不需要锁定窗口。使用窗口锁来实现例如保护MPI_Barrier()的初始化或需要同步的其他操作。您可能还需要明确告诉编译器不要重新排序代码并发出内存栅栏，以便在例如完成之前完成所有未完成的加载/存储操作。你打电话给a_old = a_new。

T *temp; temp = a_old.data; a_old.data = a_new.data; a_new.data = temp;代码建议将一个数组复制到另一个数组上。相反，您可以简单地交换数据指针，最后交换大小字段。由于只有数组的数据在共享存储块中，所以交换指针是本地操作，即不需要同步。假设两个数组的长度相等：

MPI_Win_free(&win);

在继续进行之前，您仍然需要一个障碍来确保所有其他进程都已完成处理。

最后，只需释放窗口：

#include <stdio.h>
#include <mpi.h>

#define ARRAY_LEN 1000

int main (void)
{
   MPI_Init(NULL, NULL);

   int rank, nproc;
   MPI_Comm_rank(MPI_COMM_WORLD, &rank);
   MPI_Comm_size(MPI_COMM_WORLD, &nproc);

   MPI_Win win;
   MPI_Aint size;
   void *baseptr;

   if (rank == 0)
   {
      size = ARRAY_LEN * sizeof(float);
      MPI_Win_allocate_shared(size, sizeof(int), MPI_INFO_NULL,
                              MPI_COMM_WORLD, &baseptr, &win);
   }
   else
   {
      int disp_unit;
      MPI_Win_allocate_shared(0, sizeof(int), MPI_INFO_NULL,
                              MPI_COMM_WORLD, &baseptr, &win);
      MPI_Win_shared_query(win, 0, &size, &disp_unit, &baseptr);
   }

   printf("Rank %d, baseptr = %p\n", rank, baseptr);

   int *arr = baseptr;
   for (int i = rank; i < ARRAY_LEN; i += nproc)
     arr[i] = rank;

   MPI_Barrier(MPI_COMM_WORLD);

   if (rank == 0)
   {
      for (int i = 0; i < 10; i++)
         printf("%4d", arr[i]);
      printf("\n");
   }

   MPI_Win_free(&win);

   MPI_Finalize();
   return 0;
}

完整的例子（在C中）如下：

#include <fstream>
#include <vector>
#include <string>

int main()
{
    std::string path = "";
    std::ifstream file(path); //open the file from path, might want to check file.fail()
    std::vector<std::string> lines;
    std::string line;
    while (file >> line)
        lines.push_back(line);

    std::string str;
    for (const std::string& line : lines)
    {
        if (line.substr(0, 2).compare("10") == 0)
        {
            size_t foundIdx = line.find('=');
            str = line.substr(foundIdx + 1);
        }
    }
    file.close();
    return 0;
}

免责声明：带上一粒盐。我对MPI的RMA的了解仍然很薄弱。

Answer 2

以下是提供说明的代码。在评论中，我对代码进行了一些描述。通常，它呈现动态RMA窗口，并且必须将内存分配到窗口。

来自Open MPI Documentation的

MPI_Win_lock_all(0, win)说明：

为win中的所有进程启动RMA访问时期，锁定类型为MPI_LOCK_SHARED。在纪元期间，调用进程可以通过使用RMA操作访问win中所有进程的窗口内存。

在我使用MPI_INFO_NULL的地方，您可以使用MPI_Info对象向MPI提供其他信息，但这取决于您的内存访问模式。

#include <stdio.h>
#include <stdlib.h>
#include <mpi.h>

typedef struct MyArray {
    double* data;
    int length;
}MyArray;

#define ARRAY_SIZE 10

int main(int argc, char *argv[]) {
    int rank, worldSize, i;
    MPI_Win win;
    MPI_Aint disp;
    MPI_Aint *allProcessDisp;
    MPI_Request *requestArray;

    MyArray myArray;

    MPI_Init(&argc, &argv);
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    MPI_Comm_size(MPI_COMM_WORLD, &worldSize);

    MPI_Win_create_dynamic(MPI_INFO_NULL, MPI_COMM_WORLD, &win);

    allProcessDisp = malloc(sizeof(MPI_Aint) * worldSize);

    requestArray = malloc(sizeof(MPI_Request) * worldSize);
    for (i = 0; i < worldSize; i++) 
        requestArray[i] = MPI_REQUEST_NULL;

    myArray.data = malloc(sizeof(double) * ARRAY_SIZE);
    myArray.length = ARRAY_SIZE;

    //Allocating memory for each process share window space 
    MPI_Alloc_mem(sizeof(double) * ARRAY_SIZE, MPI_INFO_NULL, &myArray.data);
    for (i = 0; i < ARRAY_SIZE; i++)
        myArray.data[i] = rank;

    //attach the allocating memory to each process share window space 
    MPI_Win_attach(win, myArray.data, sizeof(double) * ARRAY_SIZE);

    MPI_Get_address(myArray.data, &disp);

    if (rank == 0) {
        allProcessDisp[0] = disp;
        //Collect all displacements
        for (i = 1; i < worldSize; i++) {
            MPI_Irecv(&allProcessDisp[i], 1, MPI_AINT, i, 0, MPI_COMM_WORLD, &requestArray[i]);
        }
        MPI_Waitall(worldSize, requestArray, MPI_STATUS_IGNORE);
        MPI_Bcast(allProcessDisp, worldSize, MPI_AINT, 0, MPI_COMM_WORLD);
    }
    else {
        //send displacement 
        MPI_Send(&disp, 1, MPI_AINT, 0, 0, MPI_COMM_WORLD);
        MPI_Bcast(allProcessDisp, worldSize, MPI_AINT, 0, MPI_COMM_WORLD);
    }

    // here you can do RMA operations 
    // Each time you need an RMA operation you start with 
    double otherRankData = -1.0;
    int otherRank = 1;
    if (rank == 0) {
        MPI_Win_lock_all(0, win);
        MPI_Get(&otherRankData, 1, MPI_DOUBLE, otherRank, allProcessDisp[otherRank], 1, MPI_DOUBLE, win);
        // and end with 
        MPI_Win_unlock_all(win);
        printf("Rank 0 : Got %.2f from %d\n", otherRankData, otherRank);
    }

    if (rank == 1) {
        MPI_Win_lock_all(0, win);
        MPI_Put(myArray.data, ARRAY_SIZE, MPI_DOUBLE, 0, allProcessDisp[0], ARRAY_SIZE, MPI_DOUBLE, win);
        // and end with 
        MPI_Win_unlock_all(win);
    }

    printf("Rank %d: ", rank);
    for (i = 0; i < ARRAY_SIZE; i++)
        printf("%.2f ", myArray.data[i]);
    printf("\n");

    //set rank 0 array
    if (rank == 0) {
        for (i = 0; i < ARRAY_SIZE; i++)
            myArray.data[i] = -1.0;

        printf("Rank %d: ", rank);
        for (i = 0; i < ARRAY_SIZE; i++)
            printf("%.2f ", myArray.data[i]);
        printf("\n");
    }

    free(allProcessDisp);
    free(requestArray);
    free(myArray.data);

    MPI_Win_detach(win, myArray.data);
    MPI_Win_free(&win);
    MPI_Finalize();

    return 0;
}

用于阵列结构的MPI-3共享内存

2 个答案: