Question

我理解学习MPI规范是这样的 MPI发送原语是指要发送的数据指向的存储器位置（或发送缓冲区）并获取该位置的数据，然后将该数据作为消息传递给另一个进程。

虽然在另一个进程内存地址中，给定进程的虚拟地址确实没有意义; 可以发送指针指向的数据，例如void指针，因为MPI会以任何方式将数据本身作为消息传递

例如，以下工作正常：

    // Sender Side.
    int x = 100;
    void* snd;
    MPI_Send(snd,4,MPI_BYTE,1,0,MPI_COMM_WORLD);   

    // Receiver Side.
    void* rcv;
    MPI_Recv(rcv, 4,MPI_BYTE,0,0,MPI_COMM_WORLD);

但是当我在结构中添加 void * snd 并尝试发送结构时，这将不会成功。

我不明白为什么前面的例子工作正常而不是以下。

在这里，我定义了一个typedef结构，然后从中创建一个MPI_DataType。以上相同的解释也应该成功，不幸的是它没有用。

这是代码：

    #include "mpi.h"
    #include<stdio.h>

    int main(int args, char *argv[])
    {
        int rank, source =0, tag=1, dest=1;
        int bloackCount[2];

        MPI_Init(&args, &argv);

        typedef struct {
            void* data;
            int tag; 
        } data;

        data myData;    

        MPI_Datatype structType, oldType[2];
        MPI_Status stat;

        /* MPI_Aint type used to idetify byte displacement of each block (array)*/      
        MPI_Aint offsets[2], extent;
        MPI_Comm_rank(MPI_COMM_WORLD, &rank);


        offsets[0] = 0;
        oldType[0] = MPI_BYTE;
            bloackCount[0] = 1;

        MPI_Type_extent(MPI_INT, &extent);

        offsets[1] = 4 * extent;  /*let say the MPI_BYTE will contain ineteger :         size of int * extent */
        oldType[1] = MPI_INT;
        bloackCount[1] = 1;

        MPI_Type_create_struct(2, bloackCount,offsets,oldType, &structType);
        MPI_Type_commit(&structType);


        if(rank == 0){
    int x = 100;
    myData.data = &x;
    myData.tag = 99;
    MPI_Send(&myData,1,structType, dest, tag, MPI_COMM_WORLD);
}
if(rank == 1 ){ 
    MPI_Recv(&myData, 1, structType, source, tag, MPI_COMM_WORLD, &stat);
          // with out this the following printf() will properly print the value 99 for 
          // myData.tag
    int x = *(int *) myData.data;
    printf(" \n Process %d, Received : %d , %d \n\n", rank , myData.tag, x); 
    }   
       MPI_Type_free(&structType);             
       MPI_Finalize();
    }

运行代码的错误消息： [看起来我试图在第二个过程中访问无效的内存地址空间]

    [ubuntu:04123] *** Process received signal ***
    [ubuntu:04123] Signal: Segmentation fault (11)
    [ubuntu:04123] Signal code: Address not mapped (1)
    [ubuntu:04123] Failing at address: 0xbfe008bc
    [ubuntu:04123] [ 0] [0xb778240c]
    [ubuntu:04123] [ 1] GenericstructType(main+0x161) [0x8048935]
    [ubuntu:04123] [ 2] /lib/i386-linux-gnu/libc.so.6(__libc_start_main+0xf3)         [0xb750f4d3]
    [ubuntu:04123] [ 3] GenericstructType() [0x8048741]
    [ubuntu:04123] *** End of error message ***

有些人可以向我解释为什么它不起作用。任何建议也将不胜感激

感谢，

Answer 1

// Sender Side.
int x = 100;
void* snd;
MPI_Send(snd,4,MPI_BYTE,1,0,MPI_COMM_WORLD);

// Receiver Side.
void* rcv;
MPI_Recv(rcv, 4,MPI_BYTE,0,0,MPI_COMM_WORLD);

我不明白为什么上一个示例正常工作但不是以下内容。

它有效（当然，snd和rcv必须被指定为有意义的内存位置作为值），因为MPI_Send和MPI_Recv获取数据位置的地址并且snd和rcv都是指针，即它们的值是这样的地址。例如，MPI_Send行不发送指针本身的值，而是从 snd 指向的位置开始发送4个字节。对MPI_Recv的调用和rcv的使用情况也是如此。为了发送指针的值而不是它指向的值，你必须使用：

MPI_Send(&snd, sizeof(void *), MPI_BYTE, ...);

这将发送sizeof(void *)个字节，从存储指针值的地址开始。除非有一些超级特殊情况，否则这将毫无意义。

为什么你的第二个例子不起作用？ MPI不是魔术师，它无法识别内存中的一部分包含指向另一个内存块的指针并遵循该指针。也就是说，当您构造结构化数据类型时，无法告诉MPI结构的第一个元素实际上是指针并使其读取此指针指向的数据。换句话说，您必须执行显式数据编组 - 构造和中间缓冲区，其中包含由data.data指向的内存区域的副本。此外，您的数据结构不包含data指向的内存区域长度的信息。

请注意一些非常重要的事情。所有MPI数据类型都有一个名为类型映射的东西。类型映射是元组列表，其中每个元组（也称为类型签名）具有(basic_type, offset)形式，其中basic_type是原始语言类型，例如， char，int，double等等，offset是相对于缓冲区开头的偏移量。 MPI的一个独特特征是偏移也可能是负的，这意味着MPI_Send（或MPI_Recv或任何其他通信函数）的参数实际上可能指向内存区域的中间位置，这将作为数据源。发送数据时，MPI会遍历类型映射，并从相应的basic_type中获取一个类型offset的元素，相对于提供的数据缓冲区地址。内置MPI数据类型只有一个条目的字体图，其偏移量为0，例如：

MPI_INT      -> (int, 0)
MPI_FLOAT    -> (float, 0)
MPI_DOUBLE   -> (double, 0)

MPI中不存在任何数据类型，这可以使它成为指针并取其指向的值而不是指针值本身。

offsets[0] = 0;
oldType[0] = MPI_BYTE;
blockCount[0] = 1;

MPI_Type_extent(MPI_INT, &extent);

offsets[1] = 4 * extent;
oldType[1] = MPI_INT;
blockCount[1] = 1;

MPI_Type_create_struct(2, blockCount, offsets, oldType, &structType);

此代码创建一个MPI数据类型，该数据类型具有以下类型映射（假设int为4个字节）：

{(byte, 0), (int, 16)}

当作为MPI_Send的类型参数提供时，它将指示MPI库从数据缓冲区的开头取一个字节，然后取整数值，该值位于经过开头的16个字节处。数据缓冲区。总的来说，消息长度为5个字节，尽管缓冲区的跨度为20个字节。

offsets[0] = offsetof(data, data);
oldType[0] = MPI_CHAR;
blockCount[0] = sizeof(void *);

offsets[1] = offsetof(data, tag);
oldType[1] = MPI_INT;
blockCount[1] = 1;

MPI_Type_create_struct(2, blockCount, offsets, oldType, &structType);

这段代码取自Greg Inozemtsev的答案，创建了一个带有以下类型映射的数据类型（假设32位机器具有32位宽指针和零填充）：

{(char, 0), (char, 1), (char, 2), (char, 3), (int, 4)}

(char, x) typesigs的数量等于sizeof(void *)（假设为4）。如果用作数据类型，这将从缓冲区的开头起4个字节（即指针的值，地址，而不是它指向的实际int！）然后它将采用4个字节后的整数开头，即结构中tag字段的值。再一次，您将发送指针的地址而不是该指针指向的数据。

MPI_CHAR和MPI_BYTE之间的区别在于，没有类型转换应用于MPI_BYTE类型的数据。这仅在异构环境中运行MPI代码时才有意义。使用MPI_CHAR，库可能会执行数据转换，例如将每个字符从ASCII转换为EBCDIC字符集，反之亦然。在这种情况下使用MPI_CHAR是错误的，但在异构环境中发送指针更加错误，所以不用担心;）

鉴于这一切，如果我是你，我会考虑suszterpatt提出的解决方案。

对于显式数据编组，有两种可能的情况：

场景1. data.data指向的每个数据项的大小都是一样的。在这种情况下，您可以通过以下方式构造结构数据类型：

typedef struct {
   int tag;
   char data[];
} data_flat;

// Put the tag at the beginning
offsets[0] = offsetof(data_flat, tag);
oldType[0] = MPI_INT;
blockCount[0] = 1;

offsets[1] = offsetof(data_flat, data);
oldType[1] = MPI_BYTE;
blockCount[1] = size of the data;

MPI_Type_create_struct(2, blockCount, offsets, oldType, &structType);
MPI_Type_commit(&structType);

然后像这样使用它：

// --- Sender ---

// Make a temporary buffer to hold the data
size_t total_size = offsetof(data_flat, data) + size of the data;
data_flat *temp = malloc(total_size);

// Copy data structure content into the temporary flat structure
temp->tag = data.tag;
memcpy(temp->data, data.data, size of the data);

// Send the temporary structure
MPI_Send(temp, 1, structType, ...);

// Free the temporary structure
free(temp);

您也可能不会释放临时存储，而是将其重用于data结构的其他实例（因为通过推定它们都指向相同大小的数据）。接收者将是：

// --- Receiver ---

// Make a temporary buffer to hold the data
size_t total_size = offsetof(data_flat, data) + size of the data;
data_flat *temp = malloc(total_size);

// Receive into the temporary structure
MPI_Recv(temp, 1, structType, ...);

// Copy the temporary flat struture into a data structure
data.tag = temp->tag;
data.data = temp->data;
// Do not free the temporary structure as it contains the actual data

场景2.每个数据项可能具有不同的大小。这个更容易涉及并且难以以便携方式进行。如果速度不是您最关心的问题，那么您可以将数据发送到两个不同的消息中，以实现最大的可移植性。 MPI保证为使用相同信封(source, destination, tag, communicator)发送的邮件保留订单。

你也可以通过以下方式实现suszterpatt的建议（假设你的标签符合允许的范围）：

// --- Send a structure ---
MPI_Send(data.data, size of data, MPI_BYTE, dest, data.tag, MPI_COMM_WORLD);

// --- Receive a structure ---
MPI_Status status;
MPI_Aint msg_size;
// Peek for a message, allocate big enough buffer
MPI_Probe(source, MPI_ANY_TAG, &status);
MPI_Get_count(&status, MPI_BYTE, &msg_size);
uint8_t *buffer = malloc(msg_size);
// Receive the message
MPI_Recv(buffer, (int)msg_size, MPI_BYTE, source, status.MPI_TAG,
         MPI_COMM_WORLD, MPI_STATUS_IGNORE);
// Fill in a data structure
data.tag = status.MPI_TAG;
data.data = buffer;

Answer 2

假设您定义此结构是因为您希望将不同的数据与不同的标记配对，那么您的解决方案在概念上是错误的。请考虑以下示例：

data foo, bar;
int x = 100;
foo.data = bar.data = &x;
foo.tag = bar.tag = 99;

在这种情况下，foo和bar将在内存中各自拥有自己的tag副本，但它们指向同一条数据。因此，不可能定义可用于发送两个元素的单个MPI数据类型，因为它们各自的data和tag元素之间的位移是不同的。对于除了最幸运的情况之外的所有数据指针，情况也是如此。

如果您希望配对数据和标签，您仍然可以使用data结构，但由于上述原因，您不需要自定义MPI数据类型：

MPI_Send(myData.data,extent,MPI_BYTE, dest, myData.tag, MPI_COMM_WORLD);

匹配的收件人：

MPI_Recv(myData.data, extent, MPI_BYTE, source, myData.tag, MPI_COMM_WORLD, &stat);

Answer 3

MPI数据类型中tag的偏移量是错误的。通常，您不能假设void*与int的大小相同。此外，随着更多字段的添加，可能会在struct中引入填充。但是有一种解决这个问题的方法 - 只需使用offsetof：

offsets[0] = offsetof(data, data);
oldType[0] = MPI_BYTE;
blockCount[0] = sizeof(void *);

offsets[1] = offsetof(data, tag);
oldType[1] = MPI_INT;
blockCount[1] = 1;

MPI_Type_create_struct(2, blockCount, offsets, oldType, &structType);

还有一件事：既然指针在目的地无意义，你可以在MPI数据类型中跳过它。

通过创建MPI驱动的数据类型发送包含void *的typedef结构。

3 个答案: