Question

我有一个巨大的文本文件（50 MB），其键/值看起来像这样：

...
ham 2348239
hehe 1233493
hello 1234213
hello 1812394
hello 1923943
help 2038484
helping 2342394
hesitate 1298389
...

基本上它是很多单词，值是指向另一个文件中该单词位置的指针，其中包含一个完整的小说。

分配是通过创建所有字母组合AAA-ZZZ的哈希表索引并将其存储在文件中来编写非常快速的搜索算法。散列值应指向以该三个字母开头的单词的第一次出现，例如。组合HEH应指向hehe，而HEL应指向第一个hello等。

因此，如果我搜索help，HEL将被哈希，我将收到指向第一个hello的指针，并通过查找哈希表中的下一个索引，我将获得指向hesitate的指针，从而可以访问以HEL开头的整个单词范围。

要在范围内找到单词help，分配建议进行二分查找。

我实际上设法解决了这个问题，但解决方案非常难看，很大程度上是由于上面描述的文本文件。

我在想，必须有一种更优雅的方式来构建键/值文本文件。也许是二进制文件。

任何建议表示赞赏！

修改

抱歉未指明问题。我只是想从社区得到一些意见......也许是一些关于如何解决这个问题的最佳实践建议。

这是构建我的hashTable的代码：

while ((fscanf(indexFile, "%s %lu\n%n", buf, &bookPos, &rowLength)) != EOF){
    newHash = calcHashIndex(buf);
    if (curHash < newHash){
        curHash++;
        indexPos = ftell(indexFile) - rowLength;
        for (;curHash <= newHash; curHash++){
            hashTable[curHash] = indexPos;
        }
        curHash = newHash;
    }
}
fwrite(hashTable, sizeof(hashTable), 1, hashTableFile);

这是在indexFile中进行二进制搜索的代码。实际上它并没有真正起作用......只有1次出现的一些随机单词不会作为匹配返回。

int binarySearch(unsigned char *searchWord, FILE * file, long firstIndex, long lastIndex){
    unsigned char buf[WORD_LEN];
    long bookPos, middle;
    int cmpVal, rowLength;

    while (firstIndex < lastIndex){
        middle = (firstIndex + lastIndex)/2;
        fseek(file, middle, SEEK_SET);
        goBackToLastNewLine(file, 0);
        fscanf(file, "%s %lu\n%n", buf, &bookPos, &rowLength);
        if (strcmp(searchWord, buf) <= 0){
            lastIndex = ftell(file) - rowLength;
        } else {
            firstIndex = ftell(file);
        }
    }

    fseek(file, -rowLength, SEEK_CUR);
    return (strcmp(searchWord, buf) == 0) ? 1 : 0;
}

Answer 1

它很难，因为寻找你好的理想算法应该返回所有三个你好的

void binary_search(int index1, int index2, char* value, int* range){
    int range_size = (index2 - index1);

    if( range_size == 0 ){
         range[0] = range[1] = -1;
         return;
    }

    int middle_index = (range_size / 2) + index1;
    char* current_line = get_file_line(middle_index);

    int str_compare = strcmp(current_line,value);

    if(str_compare > 0 ) { 
        binary_search(index1, middle_index-1, value, range);
    } else if (str_compare < 0 ) { 
        binary_search(middle_index+1, index2, value, range);
    } else {
        find_whole_range(middle_index, value);
    }
} 

void find_whole_range(int index, char* value, int* range){

    range[0] = index;
    range[1] = index; 


    while( strcmp( get_file_line( range_top - 1 ), value) == 0 )
        range[0]--;

    while( strcmp( get_file_line( range_top + 1 ), value) == 0 )
        range[1]++;
}

编辑：这是未经测试的，我确定一些引用/ derefernce是错误的你可能想要仔细检查我没有strcmp的值翻转......

Answer 2

解决您非常不明确的问题的想法：使用数据库（mySQL f.e.）。凭借40多年DBMS设计和构建的知识，您拥有所需的一切。

解决快速搜索算法分配的技巧

2 个答案: