我不想使用mpiexec -n 4 ./a.out在我的核心i7处理器（4核）上运行我的程序。相反，我想运行./a.out，让它检测核心数量并启动MPI以运行每个核心的进程。
这个问答unordered_map::find让我使用了mpiexec。
我想避免使用mpiexec的原因是因为我的代码注定要成为我正在处理的大型项目中的库。较大的项目有一个GUI，用户将启动长计算，调用我的库，然后使用MPI。 UI和计算代码之间的集成并非易事......因此启动外部进程并通过套接字或其他方式进行通信不是一种选择。它必须是图书馆电话。
这可能吗？我该怎么做？
答案 0 :(得分：4)
总的来说，这是非常重要的事情。此外，几乎没有任何便携式解决方案不依赖于某些MPI实现细节。以下是与Open MPI一起使用的示例解决方案，可能还有其他常规MPI实现（MPICH，Intel MPI等）。它涉及第二个可执行文件或原始可执行文件的手段，直接调用库提供了一些特殊的命令行参数。它是这样的。
假设原始可执行文件仅以./a.out启动。调用库函数时，它会调用MPI_Init(NULL, NULL)，它会初始化MPI。由于可执行文件不是通过mpiexec启动的，因此它会回退到所谓的单例MPI初始化，即它创建一个由单个进程组成的MPI作业。要执行分布式计算，您必须启动更多MPI流程以及在一般情况下事情变得复杂的情况。
MPI支持动态进程管理，其中一个MPI作业可以启动第二个并使用 intercommunicators 与之通信。当第一个作业调用MPI_Comm_spawn或MPI_Comm_spawn_multiple时会发生这种情况。第一个用于启动对所有MPI等级使用相同可执行文件的简单MPI作业，而第二个可以启动混合不同可执行文件的作业。两者都需要有关启动流程的位置和方式的信息。这来自所谓的 MPI Universe ，它不仅提供有关已启动进程的信息，还提供有关动态启动的插槽的信息。宇宙由mpiexec或其他一些启动器机制构成，该机制采用例如具有节点列表和每个节点上的槽数的主机文件。在没有此类信息的情况下，某些MPI实现（包括Open MPI）将简单地在与原始文件相同的节点上启动可执行文件。 MPI_Comm_spawn[_multiple]有一个MPI_Info参数，可用于提供具有特定于实现的信息的键值值列表。 Open MPI支持add-hostfile密钥，该密钥可用于指定在生成子作业时要使用的宿主文件。这对于例如允许用户通过GUI指定用于MPI计算的主机列表是有用的。但是，让我们专注于没有提供此类信息的情况，Open MPI只是在同一主机上运行子作业。
假设工作程序可执行文件名为worker。或者，如果使用某些特殊的命令行选项-worker调用，则原始可执行文件可以充当worker。如果要总共使用N进程执行计算，则需要启动N-1个工作程序。这很简单：
（单独的可执行文件）
MPI_Comm child_comm;
MPI_Comm_spawn("./worker", MPI_ARGV_NULL, N-1, MPI_INFO_NULL, 0,
MPI_COMM_SELF, &child_comm, MPI_ERRCODES_IGNORE);
（相同的可执行文件，带选项）
MPI_Comm child_comm;
char *argv[] = { "-worker", NULL };
MPI_Comm_spawn("./a.out", argv, N-1, MPI_INFO_NULL, 0,
MPI_COMM_SELF, &child_comm, MPI_ERRCODES_IGNORE);
如果一切顺利，child_comm将被设置为 intercommunicator 的句柄，可用于与新作业通信。由于互通人员使用起来很棘手，而且亲子工作部门需要复杂的程序逻辑，人们可以简单地将互通者的两个方面合并为一个“大世界”。替换MPI_COMM_WORLD的沟通者。在父母方面：
MPI_Comm bigworld;
MPI_Intercomm_merge(child_comm, 0, &bigworld);
在孩子身边：
MPI_Comm parent_comm, bigworld;
MPI_Get_parent(&parent_comm);
MPI_Intercomm_merge(parent_comm, 1, &bigworld);
合并完成后，所有流程都可以使用bigworld而不是MPI_COMM_WORLD进行通信。请注意，子作业不会与父作业共享MPI_COMM_WORLD。
总而言之，这是一个包含两个独立程序代码的完整功能示例。
main.c
#include <stdio.h>
#include <mpi.h>
int main (void)
{
MPI_Init(NULL, NULL);
printf("[main] Spawning workers...\n");
MPI_Comm child_comm;
MPI_Comm_spawn("./worker", MPI_ARGV_NULL, 2, MPI_INFO_NULL, 0,
MPI_COMM_SELF, &child_comm, MPI_ERRCODES_IGNORE);
MPI_Comm bigworld;
MPI_Intercomm_merge(child_comm, 0, &bigworld);
int size, rank;
MPI_Comm_rank(bigworld, &rank);
MPI_Comm_size(bigworld, &size);
printf("[main] Big world created with %d ranks\n", size);
// Perform some computation
int data = 1, result;
MPI_Bcast(&data, 1, MPI_INT, 0, bigworld);
data *= (1 + rank);
MPI_Reduce(&data, &result, 1, MPI_INT, MPI_SUM, 0, bigworld);
printf("[main] Result = %d\n", result);
MPI_Barrier(bigworld);
MPI_Comm_free(&bigworld);
MPI_Comm_free(&child_comm);
MPI_Finalize();
printf("[main] Shutting down\n");
return 0;
}
worker.c
#include <stdio.h>
#include <mpi.h>
int main (void)
{
MPI_Init(NULL, NULL);
MPI_Comm parent_comm;
MPI_Comm_get_parent(&parent_comm);
int rank, size;
MPI_Comm_rank(MPI_COMM_WORLD, &rank);
MPI_Comm_size(MPI_COMM_WORLD, &size);
printf("[worker] %d of %d here\n", rank, size);
MPI_Comm bigworld;
MPI_Intercomm_merge(parent_comm, 1, &bigworld);
MPI_Comm_rank(bigworld, &rank);
MPI_Comm_size(bigworld, &size);
printf("[worker] %d of %d in big world\n", rank, size);
// Perform some computation
int data;
MPI_Bcast(&data, 1, MPI_INT, 0, bigworld);
data *= (1 + rank);
MPI_Reduce(&data, NULL, 1, MPI_INT, MPI_SUM, 0, bigworld);
printf("[worker] Done\n");
MPI_Barrier(bigworld);
MPI_Comm_free(&bigworld);
MPI_Comm_free(&parent_comm);
MPI_Finalize();
return 0;
}
以下是它的工作原理：
$ mpicc -o main main.c
$ mpicc -o worker worker.c
$ ./main
[main] Spawning workers...
[worker] 0 of 2 here
[worker] 1 of 2 here
[worker] 1 of 3 in big world
[worker] 2 of 3 in big world
[main] Big world created with 3 ranks
[worker] Done
[worker] Done
[main] Result = 6
[main] Shutting down
子作业必须使用MPI_Comm_get_parent来获取父作业的互通者。当进程不属于此类子作业时，返回的值将为MPI_COMM_NULL。这允许在同一可执行文件中实现主程序和worker的简单方法。这是一个混合的例子：
#include <stdio.h>
#include <mpi.h>
MPI_Comm bigworld_comm = MPI_COMM_NULL;
MPI_Comm other_comm = MPI_COMM_NULL;
int parlib_init (const char *argv0, int n)
{
MPI_Init(NULL, NULL);
MPI_Comm_get_parent(&other_comm);
if (other_comm == MPI_COMM_NULL)
{
printf("[main] Spawning workers...\n");
MPI_Comm_spawn(argv0, MPI_ARGV_NULL, n-1, MPI_INFO_NULL, 0,
MPI_COMM_SELF, &other_comm, MPI_ERRCODES_IGNORE);
MPI_Intercomm_merge(other_comm, 0, &bigworld_comm);
return 0;
}
int rank, size;
MPI_Comm_rank(MPI_COMM_WORLD, &rank);
MPI_Comm_size(MPI_COMM_WORLD, &size);
printf("[worker] %d of %d here\n", rank, size);
MPI_Intercomm_merge(other_comm, 1, &bigworld_comm);
return 1;
}
int parlib_dowork (void)
{
int data = 1, result = -1, size, rank;
MPI_Comm_rank(bigworld_comm, &rank);
MPI_Comm_size(bigworld_comm, &size);
if (rank == 0)
{
printf("[main] Doing work with %d processes in total\n", size);
data = 1;
}
MPI_Bcast(&data, 1, MPI_INT, 0, bigworld_comm);
data *= (1 + rank);
MPI_Reduce(&data, &result, 1, MPI_INT, MPI_SUM, 0, bigworld_comm);
return result;
}
void parlib_finalize (void)
{
MPI_Comm_free(&bigworld_comm);
MPI_Comm_free(&other_comm);
MPI_Finalize();
}
int main (int argc, char **argv)
{
if (parlib_init(argv[0], 4))
{
// Worker process
(void)parlib_dowork();
printf("[worker] Done\n");
parlib_finalize();
return 0;
}
// Main process
// Show GUI, save the world, etc.
int result = parlib_dowork();
printf("[main] Result = %d\n", result);
parlib_finalize();
printf("[main] Shutting down\n");
return 0;
}
以下是输出示例：
$ mpicc -o hybrid hybrid.c
$ ./hybrid
[main] Spawning workers...
[worker] 0 of 3 here
[worker] 2 of 3 here
[worker] 1 of 3 here
[main] Doing work with 4 processes in total
[worker] Done
[worker] Done
[main] Result = 10
[worker] Done
[main] Shutting down
设计此类并行库时需要注意的一些事项：
MPI_Initialized以检查库是否已初始化。MPI_Finalized是你的朋友。它可以像atexit()处理程序一样用于在程序退出时实现通用的MPI终结。MPI_Init_thread。答案 1 :(得分：0)
您可以使用例如this解决方案获取CPU数量，然后通过调用MPI_comm_spawn启动MPI流程。但是你需要一个单独的可执行文件。