Question

我有一个主应用程序，它产生一个工人，它自己产生两个奴隶。从属应用程序将其输出写入stdout。我的想法是将stdout绑定到worker应用程序中的另一个流，以便能够将从属的输出存储在变量中并将其发送给处理输出的master。但是，奴隶的stdout没有正确重定向，仍然出现在控制台上。 worker应用程序中的缓冲区保持为空。我错过了什么或者这样做不可能吗？如果是这样，任何有关如何以不同方式处理此问题的建议都非常感激。我在Gentoo上使用Open MPI 1.6.5，这是我的应用程序的源代码：

master.cpp

#include <mpi.h>
#include <iostream>

using namespace std;

int main(int argc, char *argv[])
{
    char appExe[] = "worker";
    char *appArg[] = {NULL};
    int maxProcs = 1;
    int myRank; 
    MPI_Comm childComm;
    int spawnError;

    // Initialize
    MPI_Init(&argc, &argv);

    // Rank 
    MPI_Comm_rank(MPI_COMM_WORLD, &myRank);

    // Spawn application    
    MPI_Comm_spawn(appExe, appArg, maxProcs, MPI_INFO_NULL, myRank, MPI_COMM_SELF, &childComm, &spawnError);

    // Receive length of message from worker
    int len;
    MPI_Recv(&len, 1, MPI_INT, 0, MPI_ANY_TAG, childComm, MPI_STATUS_IGNORE);
    // Receive actual message from worker
    char *buf = new char[len];
    MPI_Recv(buf, len, MPI_CHAR, 0, MPI_ANY_TAG, childComm, MPI_STATUS_IGNORE);
    cout << "master: Got the following from worker: " << buf << endl;

    // Finalize
    MPI_Finalize();

    return 0;
}

worker.cpp

#include "mpi.h"
#include <iostream>
#include <string>
#include <sstream>

using namespace std;

int main(int argc, char *argv[])
{
    char appExe[] = "slave";
    char *appArg[] = {NULL};
    int maxProcs = 2;
    int myRank, parentRank; 
    MPI_Comm childComm, parentComm;
    int spawnError[maxProcs];

    // Initialize
    MPI_Init(&argc, &argv);

    // Rank
    MPI_Comm_rank(MPI_COMM_WORLD, &myRank);

    // Get parent
    MPI_Comm_get_parent(&parentComm);

    // Bind stdout to new_buffer
    stringstream new_buffer;
    streambuf *old_buffer = cout.rdbuf(new_buffer.rdbuf());  

    // Spawn application    
    MPI_Comm_spawn(appExe, appArg, maxProcs, MPI_INFO_NULL, myRank, MPI_COMM_SELF, &childComm, spawnError);

    // Enter barrier
    MPI_Barrier(childComm);

    // Reset stdout to old_buffer
    cout.rdbuf(old_buffer);

    // Make a string
    string tmp = new_buffer.str();
    // Make a character array from string
    const char* cstr = tmp.c_str();
    cout << "worker: Got the following from slaves: " << cstr << endl;

    // Send length of message to master   
    int len = sizeof(cstr);
    MPI_Send(&len, 1, MPI_INT, 0, 0, parentComm);
    // Send actual message
    MPI_Send(&cstr, len, MPI_CHAR, 0, 0, parentComm);

    // Finalize
    MPI_Finalize();

    return 0;
}

slave.cpp

#include <mpi.h>
#include <iostream>

using namespace std;

int main(int argc, char *argv[])
{
    MPI_Comm parent;

    // Initialize
    MPI_Init(&argc, &argv);

    // Get parent
    MPI_Comm_get_parent(&parent);

    // Say hello
    cout << "slave: Hi there!" << endl;

    // Enter barrier
    if (parent != MPI_COMM_NULL)
        MPI_Barrier(parent);

    // Finalize
    MPI_Finalize();

    return 0;
}

Answer 1

MPI中的作业生成发生在相同的“Universe”中，通常由用于启动初始MPI作业的相同应用程序启动程序执行。在Open MPI中，orterun（mpiexec和mpirun都是orterun的符号链接。 ITE重定向由ORTE（Open MPI运行时环境，MPI库的一部分）执行，它将每个MPI进程的标准输出发送到orterun，然后将所有内容混合并显示给它如果输出重定向到位，则控制台输出或将其保存到文件中。除非生成的作业专门将其输出写入文件，否则父节点无法拦截该输出。

在父作业和生成的作业之间进行通信的另一种（也是唯一的）MPI兼容方式是使用MPI消息传递。您可以实现自己的C ++输入和输出流类，这些类使用MPI消息通过内部通信器传输数据。

Answer 2

通常，在分布式应用程序中使用stdout / stderr进行重要输出并不是正确的方法。很难强制执行有用的排序，导致线条有时混杂在一起。读取/写入可通过NFS或某些脚本移动的文件的数据通常更为有效。然后你知道订购是正确的。

从通过MPI_Comm_spawn生成的子项重定向stdout

2 个答案: