Question

我必须首先以经典方式为课程分配实施霍夫曼加密和解密算法，然后我必须尝试使用各种方法（openMP，MPI，{{ 1}}）。该项目的范围不是使其速度更快，而是分析结果并讨论它们以及它们为什么如此。

串行版本运行完美。但是，对于并行版本，我偶然遇到了文件读取问题。在串行版本中，我有一段代码如下：

phtreads

此操作最多从输入文件读取char *buffer = calloc(1, MAX_BUFF_SZ); while (bytes_read = fread(buffer, 1, MAX_BUFF_SZ, input) > 0) { compress_chunk(buffer, t, output); memset(buffer, 0, MAX_BUFF_SZ); }个字节，然后对其进行加密。在MAX_BUFF_SZ的情况下，我使用了memset调用（虽然可能存在更干净的解决方案）。

但是，对于并行版本（例如，使用openMP），我希望每个线程仅分析文件的一部分，但是读取仍要分块进行。知道每个线程都具有ID bytes_read < MAX_BUFF_SZ和ID thread_id，并且最多有total_threads，因此我计算出开始位置和结束位置如下：

int slice_size = (file_size + total_threads - 1) / total_threads;
int start = slice_size * thread_id;
int end = min((thread_id + 1) * slice_size, file_size);

我可以通过简单的fseek(input, start, SEEK_SET)操作移至开始位置。但是，我无法分块读取内容。我尝试使用以下代码（只是为了确保操作正常）：

int total_bytes = 0;
while ((bytes_read = fread(buffer, 1, MAX_BUFF_SZ, input)) > 0) {
    total_bytes += bytes_read;

    if (total_bytes >= end) {
        int diff = total_bytes - end;
        buffer[diff] = '\0';
        break;
    }

    fwrite(buffer, 1, bytes_read, output);
    memset(buffer, 0, MAX_BUFF_SZ);
}

output是每个线程的不同文件。即使当我尝试仅使用2个线程时，它们中也会缺少一些字符。我认为我已经接近正确的解决方案，并且遇到了类似的错误。

所以问题是：我如何才能读取文件的一部分，但是是成块的？您能帮我找出上面代码中的错误并使其起作用吗？

修改：如果MAX_BUFF_SZ大于输入的大小，并且我有4个线程，那么干净的代码应该如何确保T0会完成所有工作，而T1 ，T2和T3会什么都不做？

下面是一些可以用来测试行为的简单代码（请注意，这不是来自霍夫曼代码，而是一些用于测试事物的辅助代码）：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <omp.h>

#define MAX_BUFF_SZ 32

#define min(a, b) \
   ({ __typeof__ (a) _a = (a); \
       __typeof__ (b) _b = (b); \
     _a < _b ? _a : _b; })

int get_filesize(char *filename) {
    FILE *f = fopen(filename, "r");
    fseek(f, 0L, SEEK_END);
    int size = ftell(f);
    fclose(f);

    return size;
}

static void compress(char *filename, int id, int tt) {
    int total_bytes = 0;
    int bytes_read;
    char *newname;
    char *buffer;
    FILE *output;
    FILE *input;
    int fsize;
    int slice;
    int start;
    int end;

    newname = (char *) malloc(strlen(filename) + 2);
    sprintf(newname, "%s-%d", filename, id);

    fsize = get_filesize(filename);
    buffer = calloc(1, MAX_BUFF_SZ);

    input = fopen(filename, "r");
    output = fopen(newname, "w");

    slice = (fsize + tt - 1) / tt;
    end = min((id + 1) * slice, fsize);
    start = slice * id;

    fseek(input, start, SEEK_SET);

    while ((bytes_read = fread(buffer, 1, MAX_BUFF_SZ, input)) > 0) {
        total_bytes += bytes_read;
        printf("%s\n", buffer);

        if (total_bytes >= end) {
            int diff = total_bytes - end;
            buffer[diff] = '\0';
            break;
        }

        fwrite(buffer, 1, bytes_read, output);
        memset(buffer, 0, MAX_BUFF_SZ);
    }

    fclose(output);
    fclose(input);
}

int main() {
    omp_set_num_threads(4);
    #pragma omp parallel
    {
        int tt = omp_get_num_threads();;
        int id = omp_get_thread_num();
        compress("test.txt", id, tt);
    }
}

您可以使用gcc test.c -o test -fopenmp进行编译。您可能会生成一个文件test.txt，其中包含一些随机字符，超过32个（或更改最大缓冲区大小）。

编辑2 ：同样，我的问题是读取文件的一部分，而不是分析本身。我知道该怎么做。这是一门大学课程，我不能只说“ IO受限，故事结束，分析完成”。

Answer 1

显然，我只需要拿一支笔和一支纸，然后做一个小计划。在处理了一些索引之后，我得出了以下代码（db.query和imgFromId是我使用的一些辅助变量，因为我实际上是在向文件写入位，并且使用中间缓冲区来限制写道）：

encbuff

我还完成了openMP版本的实现。对于小型文件，串行文件速度更快，但从25 + MB开始，并行文件开始以约35-45％的速度击败串行文件。谢谢大家的建议。

干杯！

C：如何分块读取文件的一部分

1 个答案: