Question

我使用mpi4py来并行化我的代码。我想在节点之间传递两个数据，一个整数和一个实数。我还想使用数组和更快的大写Send和Recv函数。阅读一些教程，似乎应该可以做到，但我找不到任何例子。这是一个不起作用的简单版本：

import numpy
from mpi4py import MPI
comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

dt = numpy.dtype('int,float')
if rank == 0:
    recvBuffr = numpy.zeros(1,dt)
    comm.Recv(recvBuffr, source = MPI.ANY_SOURCE)
    print recvBuffr

else:
    result = rank*1.5
    sendBuffr = numpy.zeros(1,dt)
    sendBuffr[0][0] = rank
    sendBuffr[0][1] = result
    comm.Send(sendBuffr, dest=0)

错误：

Traceback (most recent call last):
  File "mpitest.py", line 10, in <module>
Traceback (most recent call last):
  File "mpitest.py", line 18, in <module>
    comm.Send(sendBuffr, dest=0)
    comm.Recv(recvBuffr, source = MPI.ANY_SOURCE)
  File "MPI/Comm.pyx", line 248, in mpi4py.MPI.Comm.Recv (src/mpi4py.MPI.c:78963)
  File "MPI/Comm.pyx", line 237, in mpi4py.MPI.Comm.Send (src/mpi4py.MPI.c:78765)
  File "MPI/msgbuffer.pxi", line 380, in mpi4py.MPI.message_p2p_recv (src/mpi4py.MPI.c:26730)
  File "MPI/msgbuffer.pxi", line 366, in mpi4py.MPI._p_msg_p2p.for_recv (src/mpi4py.MPI.c:26575)
  File "MPI/msgbuffer.pxi", line 375, in mpi4py.MPI.message_p2p_send (src/mpi4py.MPI.c:26653)
  File "MPI/msgbuffer.pxi", line 358, in mpi4py.MPI._p_msg_p2p.for_send (src/mpi4py.MPI.c:26515)
  File "MPI/msgbuffer.pxi", line 114, in mpi4py.MPI.message_simple (src/mpi4py.MPI.c:23528)
  File "MPI/msgbuffer.pxi", line 114, in mpi4py.MPI.message_simple (src/mpi4py.MPI.c:23528)
  File "MPI/msgbuffer.pxi", line 59, in mpi4py.MPI.message_basic (src/mpi4py.MPI.c:22718)
KeyError: 'T{l:f0:d:f1:}'
  File "MPI/msgbuffer.pxi", line 59, in mpi4py.MPI.message_basic (src/mpi4py.MPI.c:22718)
KeyError: 'T{l:f0:d:f1:}'

我认为这意味着它不足以使用numpy结构化数组，我需要使用MPI数据类型。我在文档（https://mpi4py.scipy.org/docs/apiref/mpi4py.MPI.Datatype-class.html）上发现有一个函数mpi4py.MPI.Datatype.Create_struct，看起来它可能是我想要的，但我不明白如何使用它。文档字符串说：

Create_struct(...)
    Datatype.Create_struct(type cls, blocklengths, displacements, datatypes)

    Create an datatype from a general set of
    block sizes, displacements and datatypes

感谢您的帮助！

Answer 1

所以从头开始：

总是可以通过使用python的元组来开始工作，而MPI4PY非常方便的酸洗操作员通过发送元组来实现这一点：

from __future__ import print_function
from  mpi4py import MPI
import numpy as np

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

assert size > 1

if rank == 0:
    result = comm.recv(source = MPI.ANY_SOURCE, tag = MPI.ANY_TAG)
    print(result)
elif rank == 1:
    comm.send((1, 3.14), dest = 0)

跑步给出

$ mpirun -np 2 python send_tuple.py
(1, 3.14)

但是消息的每一端的这种酸洗/取消确实需要一些时间，所以一旦工作正常，通过定义结构类型，在本机MPI中进行优化肯定是可能的目标。

为了实现这个目的，你必须知道结构的内存布局，一般来说，你没有（比如说）一个元组; MPI4PY中的大写消息运算符依赖于numpy，它保证了内存布局。

对于像结构数组这样的东西，你可以使用numpy structured arrays：

>>> a = numpy.zeros(2, dtype=([('int',numpy.int32),('dbl',numpy.float64)]))
>>> a
array([(0, 0.0), (0, 0.0)],
      dtype=[('int', '<i4'), ('dbl', '<f8')])

所以现在我们有了一个结构数组，第一个字段名为'int'并且具有4字节整数类型，第二个字段名为'dbl'并且具有8字节浮点类型。

完成后，您可以开始查询数据布局 - 查找单个结构的大小：

>>> print(a.nbytes/2)
12
>>> print(a.dtype.fields)
mappingproxy({'dbl': (dtype('float64'), 4), 'int': (dtype('int32'), 0)})

首先告诉你类型的范围 - 第一个元素的开始和第二个元素的开始之间的字节数 - 第二个给出了每个元素的字节偏移量。您需要结构：

>>> displacements = [a.dtype.fields[field][1] for field in ['int','dbl']]
>>> print(displacements)
[0, 4]

现在，您可以开始为结构创建MPI数据类型，并使用与MPI.INT之类的方式相同的方式。唯一剩下的技巧是在调用Create_struct时你必须从numpy dtypes转换为MPI数据类型，但这是相当简单的。以下代码为您提供了一个开始：

#!/usr/bin/env python
from __future__ import print_function
from  mpi4py import MPI
import numpy as np

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

assert size > 1

def definetype(field_names, field_dtypes):
    num = 2
    dtypes = list(zip(field_names, field_dtypes))
    a = np.zeros(num, dtype=dtypes)

    struct_size = a.nbytes // num
    offsets = [ a.dtype.fields[field][1] for field in field_names ]

    mpitype_dict = {np.int32:MPI.INT, np.float64:MPI.DOUBLE}  #etc
    field_mpitypes = [mpitype_dict[dtype] for dtype in field_dtypes]

    structtype = MPI.Datatype.Create_struct([1]*len(field_names), offsets, field_mpitypes)
    structtype = structtype.Create_resized(0, struct_size)
    structtype.Commit()
    return structtype


if __name__ == "__main__":
    struct_field_names = ['int', 'dbl']
    struct_field_types = [np.int32, np.float64]
    mytype = definetype(struct_field_names, struct_field_types)
    data = np.zeros(1, dtype=(list(zip(struct_field_names, struct_field_types))))

    if rank == 0:
        comm.Recv([data, mytype], source=1, tag=0)
        print(data)
    elif rank == 1:
        data[0]['int'] = 2
        data[0]['dbl'] = 3.14
        comm.Send([data, mytype], dest=0, tag=0)

跑步给出

$ mpirun -np 2 python send_struct.py
[(2, 3.14)]

Answer 2

如果要发送的数据之一是整数，则将其作为标记发送。（但是，由于此解决方案仅限于整数，我仍然对我的问题的替代答案非常感兴趣。）

import numpy
from mpi4py import MPI
comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

if rank == 0:
    result = numpy.zeros(1,float)
    status=MPI.Status()
    comm.Recv(result, source = MPI.ANY_SOURCE, status = status, tag = MPI.ANY_TAG)
    print status.Get_tag(), result

else:
    result = numpy.array([rank*1.5,])
    i = 5
    comm.Send(result, dest=0, tag=i)

如何使用mpi4py创建在节点之间传递的结构

2 个答案: