MPI - 将进程的文件路径分散

时间:2016-04-04 10:10:39

标签: parallel-processing mpi openmpi scatter scatterview

我在global_filetable中有4个文件路径,我正在尝试将2个堆栈路径分散到每个进程。

进程0有适当的2个路径,但进程1(null)中有一些奇怪的东西......

编辑: 这是完整的代码:

#include <stdio.h>
#include <limits.h> // PATH_MAX
#include <mpi.h>

int main(int argc, char *argv[])
{

    char** global_filetable = (char**)malloc(4 * PATH_MAX * sizeof(char));
    for(int i = 0; i < 4; ++i) {
        global_filetable[i] = (char*)malloc(PATH_MAX *sizeof(char));
        strncpy (filetable[i], "/path/", PATH_MAX);
    }

    /*for(int i = 0; i < 4; ++i) {
        printf("%s\n", global_filetable[i]);
    }*/

    int rank, size;

    MPI_Init(&argc, &argv);
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    MPI_Comm_size(MPI_COMM_WORLD, &size);

    char** local_filetable = (char**)malloc(2 * PATH_MAX * sizeof(char));

    MPI_Scatter(global_filetable, 2*PATH_MAX, MPI_CHAR, local_filetable, 2*PATH_MAX , MPI_CHAR, 0, MPI_COMM_WORLD);
    {

        /* now all processors print their local data: */
        for (int p = 0; p < size; ++p) {
            if (rank == p) {
                printf("Local process on rank %d is:\n", rank);
                for (int i = 0; i < 2; i++) {
                    printf("path: %s\n", local_filetable[i]);
                }
            }
            MPI_Barrier(MPI_COMM_WORLD);
        }
    }

    MPI_Finalize();
    return 0;
}

输出:

Local process on rank 0 is:
path: /path/
path: /path/
Local process on rank 1 is:
path: (null)
path: (null)

你知道为什么我有这些空值吗?

2 个答案:

答案 0 :(得分:1)

首先,您的分配不一致:

char** local_filetable = (char**)malloc(2 * PATH_MAX * sizeof(char));

类型char**表示char*的数组,但是您分配了一个连续的内存块,表示char*

最简单的方法是将连续内存用作全局和本地char*的{​​{1}}。根据{{​​1}}实际执行的操作,您可能需要进行转换。然后你可以像这样对它进行索引:

filetable

然后您可以像这样分散:

get_filetable()

请注意,没有更多位移,每个排名只会获得相等大小的连续内存块。

下一步是定义一个封装char* entry = &filetable[i * PATH_MAX] 个字符的C和MPI结构,这样就可以摆脱MPI_Scatter(global_filetable, 2 * PATH_MAX, MPI_CHAR, local_filetable, 2 * PATH_MAX, MPI_CHAR, 0, MPI_COMM_WORLD); 和粗索引的不断使用。

我认为这比使用实际的PATH_MAX更好(更简单,更少的内存管理)。如果内存浪费或冗余数据传输成为问题,您只需要这样做。

P.S。请务必不要在PATH_MAX条目中输入超过char**个字符,以便为尾随PATH_MAX - 1留出空间。

答案 1 :(得分:0)

Okay, I'm stupid.

char global_filetable[NUMBER_OF_STRINGS][PATH_MAX];

for(int i = 0; i < 4; ++i) {
    strcpy (filetable[i], "/path/");
}
char local_filetable[2][PATH_MAX];

Now it works!