CPU与GPU上的MPI-2

Question

我正致力于使用MPI-2并行化代码。当我使用8个核心处理器时，它成功地加速了。

我只是想知道如果我将GPU用于相同目的而不是CPU，会产生什么影响？根据我迄今为止的研究，OpenMPI与GPU兼容，只有与CPU相比，处理器间通信很多，加速才会更好。有没有人尝试过，或对此有任何意见？

Answer 1

GPU并行化与MPI并行化是完全不同的方向，因为GPU线程不能像MPI排名那样行动并进行MPI调用 - 它们在所需的意义上并不是真正的线程。但是，您可以通过在MPI程序的每个等级中调用GPU代码来组合它们。