OpenMPI并行化读取文本文件

时间:2016-10-22 14:38:07

标签: c parallel-processing mpi

我希望使用此代码执行以下操作:

将文件读入缓冲区(效果很好!)(并且不希望改变我读取文件的方式以及如何存储它)。

使用MPI_Scatter跨多个“节点”发送缓冲区因此每个节点都可以计算有空格的次数。

我所做的代码如下:

#include <stdio.h>
#include <mpi.h> 

int main() {

int file_size = 10000;
FILE * fp;
int my_size, my_id, size, local_acum=0, acum=0, i;
char buf[file_size], recv_vect[file_size];

fp = fopen("pru.txt","r");
fseek(fp, 0L, SEEK_END);
size = ftell(fp);
fseek(fp, 0L, SEEK_SET);
fread (buf,1,size,fp);

// Initialize the MPI environment 
MPI_Init(NULL, NULL); 
MPI_Comm_size(MPI_COMM_WORLD, &my_size); 
MPI_Comm_rank(MPI_COMM_WORLD,&my_id);

MPI_Scatter(buf, size / my_size, MPI_CHAR, recv_vect, 
    size / my_size, MPI_CHAR, 0, MPI_COMM_WORLD);

local_acum=0;
for (i=0; i < size / my_size; i++){
    // printf("%c", buf[i]);
    if (buf[i] == ' '){
        local_acum++;
    }
}
printf("\nlocal is %d \n", local_acum);

acum=0;
MPI_Barrier(MPI_COMM_WORLD); 
MPI_Reduce(&local_acum, &acum, 1, MPI_INT, MPI_SUM, 
    0, MPI_COMM_WORLD);

if (my_id == 0){
    printf("Counter is %d \n", acum);
}

// Finalize the MPI environment. 
MPI_Finalize();
}

我没有得到理想的结果。

如果我使用选项-np 1运行它完美(如预期的那样)。

然而,当我使用选项-np 2或更高版本运行时,我没有得到我的愿望 结果。 每个节点的行为是它总是计算相同数量的空格!我相信这是问题的关键。

如果在我的节点中

for (i=0; i < sie; i++)

这会计算空格的数量。所以每个节点都有整个缓冲区。我不明白为什么因为在散布中我告诉传递(size / my_size)

1 个答案:

答案 0 :(得分:1)

  1. 您正在迭代buf,其中包含整个文件,而不是recv_vect,其中只包含每个排名的部分。
  2. 您正在读取每个节点上的整个文件,而不只是在根目录上。在你的情况下,这没有任何意义。