Question

我对使用MPI例程相对较新，我很困惑为什么在下面的代码中我会得到不同的结果，具体取决于我使用的节点数。

代码：

import numpy as np
from mpi4py import MPI

def MPI_sum(comm,x):
    xsum = np.sum(x)
    vals = comm.gather(xsum,root=0)

    if rank == 0:
        s = np.sum(vals)

    s = comm.bcast(s,root=0)

    return s

comm = MPI.COMM_WORLD
size = comm.Get_size()

datalen = 80000/size
x = np.zeros(datalen) + 1. + 1e-5

xsum = MPI_sum(comm,x)
if rank == 0:
    print xsum - np.floor(xsum)

我用1个节点和2个节点运行此代码。我从1个节点得到的答案是：0.800000153016 我从2个节点得到的答案是：0.800000035219

造成这种差异的原因是什么？

（作为补充说明，我确实尝试将MPI_sum中的所有x数组数据传递给root = 0然后在root = 0上求和，这给了我正确答案;无论节点数多少，都是相同的输出。将所有数据传递到一个节点对于我将在其中实现的代码是不实际的。）

感谢您的帮助！

Answer 1

观察到的效果是由浮点运算的非关联性引起的，并不是MPI应用程序特有的，尽管后者由于问题域的划分而倾向于更频繁地暴露它。请注意以下内容以了解会发生什么：

>>> import numpy as np
>>> datalen = 80000
>>> x = np.zeros(datalen) + 1. + 1e-5
>>> xsum = np.sum(x)
>>> xsum - np.floor(xsum)
0.80000015301629901
>>> xsum = np.sum(x[:datalen/2]) + np.sum(x[datalen/2:])
>>> xsum - np.floor(xsum)
0.80000003521854524

换句话说，给定一个有限精度的计算机，对整个数组进行求和与首先将数组的两半分别相加然后将两个总和相加是不同的，无论你是否使用MPI执行此操作（如在你的代码）或连续（如我的例子中所示）。

原因是任何时候将两个浮点数加在一起时发生的最后一位舍入。及时，人们学会处理浮点运算的这些特性。存在防止类似效果的特殊求和算法，例如， Kahan summation algorithm。

注意10 ^-5在任何有限精度二进制计算机上都不能完全表示，因为log ₂（10 ^-5）= - 5 x log ₂（10），二进制对数为10是无理数。

MPI4PY：不同数量的节点返回不同的结果

1 个答案: