Question

我有一个二进制数据文件，其中包含各种字符串。我正在尝试编写一个C代码来查找文件中第一次出现用户指定的字符串。（我知道这可以用bash完成，但出于其他原因我需要一个C代码。）现在的代码是：

#include <stdio.h>
#include <string.h>

#define CHUNK_SIZE 512

int main(int argc, char **argv) {
    char *fname = argv[1];
    char *tag = argv[2];
    FILE *infile;
    char *chunk;
    char *taglcn = NULL;
    long lcn_in_file = 0;
    int back_step;
    fpos_t pos;

    // allocate chunk
    chunk = (char*)malloc((CHUNK_SIZE + 1) * sizeof(char));

    // find back_step
    back_step = strlen(tag) - 1;

    // open file
    infile = fopen(fname, "r");

    // loop
    while (taglcn == NULL) { 
        // read chunk
        memset(chunk, 0, (CHUNK_SIZE + 1) * sizeof(char));
        fread(chunk, sizeof(char), CHUNK_SIZE, infile);
        printf("Read %c\n", chunk[0]);
        // look for tag
        taglcn = strstr(chunk, tag);
        if (taglcn != NULL) {
            // if you find tag, add to location the offset in bytes from beginning of chunk
            lcn_in_file += (long)(taglcn - chunk);
            printf("HEY I FOUND IT!\n");
        } else {
            // if you don't find tag, add chunk size minus back_step to location and ...
            lcn_in_file += ((CHUNK_SIZE - back_step) * sizeof(char)); 
            // back file pointer up by back_step for next read 
            fseek(infile, -back_step, SEEK_CUR);
            fgetpos(infile, &pos);
            printf("%ld\n", pos);
            printf("%s\n\n\n", chunk);
        }
    }
    printf("%ld\n", lcn_in_file);

    fclose(infile);
    free(chunk);
}

如果您想知道，back_step是为了处理有问题的字符串被chunk边界分割的不太可能的事件。

我要检查的文件大小约为1Gb。问题是，由于某种原因，我可以在前9000个左右的字节中找到任何字符串，但除此之外，strstr在某种程度上不会检测到任何字符串。也就是说，如果我在文件中查找超过9000个字节的字符串，strstr就不会检测到它。代码读取整个文件，永远不会找到搜索字符串。

我尝试将CHUNK_SIZE从128改为50000，结果没有变化。我也试过改变back_step。当chunk无法找到字符串时，我甚至会输入诊断代码来逐个字符地打印strstr，果然，字符串正好在它应该的位置。 pos的诊断输出始终是正确的。

谁能告诉我哪里出错了？ strstr在这里使用了错误的工具吗？

Answer 1

由于您说您的文件是二进制文件，strstr()将停止扫描文件中的第一个空字节。

如果您希望在二进制数据中查找模式，那么memmem()函数是合适的（如果可用）。它可以在Linux和其他一些平台（BSD，macOS，...）上使用，但它没有被定义为标准C或POSIX的一部分。它与memcpy()与strcpy()相关的strstr()大致相同。

请注意，您的代码应检测fread()读取的字节数，并仅搜索该字节数。

char   *tag = …;     // Identify the data to be searched for
size_t  taglen = …;  // Identify the data's length (maybe strlen(tag))
int     nbytes;
while ((nbytes = fread(chunk, 1, (CHUNK_SIZE + 1), infile)) > 0)
{
    …
    tagcln = memmem(chunk, nbytes, tag, taglen);
    if (tagcln != 0)
        …found it…
    …
}

为什么你在块大小上有+1的原因并不是很清楚。 fread()函数不会在数据末尾添加空字节或类似的东西。我没有改变这个方面，但可能不会在我自己的代码中使用它。

最好是确定一个跨越两个块之间边界的标签。

Answer 2

代码中strstr失败的最可能原因是文件中存在空字节。此外，您应该以二进制模式打开文件，以使文件偏移有意义。

要扫描块中的字节序列，请使用memmem()功能。如果您的系统上没有它，这是一个简单的实现：

#include <string.h>

void *memmem(const void *haystack, size_t n1, const void *needle, size_t n2) {
    const unsigned char *p1 = haystack;
    const unsigned char *p2 = needle;

    if (n2 == 0)
        return (void*)p1;
    if (n2 > n1)
        return NULL;

    const unsigned char *p3 = p1 + n1 - n2 + 1;
    for (const unsigned char *p = p1; (p = memchr(p, *p2, p3 - p)) != NULL; p++) {
        if (!memcmp(p, p2, n2))
            return (void*)p;
    }
    return NULL;
}

您可以这样修改程序：

#include <errno.h>
#include <stdio.h>
#include <string.h>

void *memmem(const void *haystack, size_t n1, const void *needle, size_t n2);

#define CHUNK_SIZE 65536

int main(int argc, char **argv) {

    if (argc < 3) {
        fprintf(sderr, "missing parameters\n");
        exit(1);
    }

    // open file
    char *fname = argv[1];
    FILE *infile = fopen(fname, "rb");
    if (infile == NULL) {
        fprintf(sderr, "cannot open file %s: %s\n", fname, strerror(errno));
        exit(1);
    }

    char *tag = argv[2];
    size_t tag_len = strlen(tag);
    size_t overlap_len = 0;
    long long pos = 0;

    char *chunk = malloc(CHUNK_SIZE + tag_len - 1);
    if (chunk == NULL) {
        fprintf(sderr, "cannot allocate memory\n");
        exit(1);
    }

    // loop
    for (;;) { 
        // read chunk
        size_t chunk_len = overlap_len + fread(chunk + overlap_len, 1, 
                                               CHUNK_SIZE, infile);
        if (chunk_len < tag_len) {
            // end of file or very short file
            break;
        }
        // look for tag
        char *tag_location = memmem(chunk, chunk_len, tag, tag_len);
        if (tag_location != NULL) {
            // if you find tag, add to location the offset in bytes from beginning of chunk
            printf("string found at %lld\n", pos + (tag_location - chunk));
            break;
        } else {
            // if you don't find tag, add chunk size minus back_step to location and ...
            overlap_len = tag_len - 1;
            memmove(chunk, chunk + chunk_len - overlap_len, overlap_len);
            pos += chunk_len - overlap_len;
        }
    }

    fclose(infile);
    free(chunk);
    return 0;
}

请注意，该文件是以CHUNK_SIZE个字节的块读取的，如果CHUNK_SIZE是文件系统块大小的倍数，则该文件是最佳的。

Answer 3

二进制数据文件将包含充当字符串结尾的'\ 0'字节。在那里越多，strstr将要搜索的区域越短。注意strstr一旦达到0字节就会考虑它的工作。

您可以按照

等间隔扫描内存

while (strlen (chunk) < CHUNKSIZE) 
   chunk += strlen (chunk) + 1;

即。只要你仍在块中，就在块中的空字节后重启。

Answer 4

对于一些非常简单的代码，您可以使用mmap()和memcmp()。

错误检查和正确的头文件留给读者练习（至少有一个错误 - 读者可以找到另一个练习）：

int main( int argc, char **argv )
{
    // put usable names on command-line args
    char *fname = argv[ 1 ];
    char *tag = argv[ 2 ];

    // mmap the entire file
    int fd = open( fname, O_RDONLY );
    struct stat sb;
    fstat( fd, &sb );
    char *contents = mmap( NULL, sb.st_size, PROT_READ, MAP_PRIVATE, fd, 0 );
    close( fd );

    size_t tag_len = strlen( tag );

    size_t bytes_to_check = 1UL + sb.st_size - tag_len;

    for ( size_t ii = 0; ii < bytes_to_check; ii++ )
    {
        if ( !memcmp( contents + ii, tag, tag_len ) )
        {
             // match found
             // (probably want to check if contents[ ii + tag_len ]
             //  is a `\0' char to get actual string matches)
        }
    }

    munmap( contents, sb.st_len );

    return( 0 );
}

这可能无法接近最快的方式（一般情况下，mmap()不会出现在性能优胜者附近的任何地方，特别是在这个简单的流式传输文件的用例中结束），但它简单。

（请注意，如果文件大小在读取时发生变化，mmap()也会出现问题。如果文件增长，则无法查看其他数据。如果文件缩短，当您尝试读取已删除的数据时，您将获得SIGBUS。）

strstr中的微妙之处？

4 个答案: