Question

在这个问题中： Detecting duplicate lines on file using c 我可以检测到重复的行，但是我们如何从文件中删除这些行？

感谢。

编辑：添加我的代码：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

struct somehash {
    struct somehash *next;
        unsigned hash;
        char *mem;
};

#define THE_SIZE 100000

struct somehash *table[THE_SIZE] = { NULL,};

struct somehash **some_find(char *str, unsigned len);
static unsigned some_hash(char *str, unsigned len);

int main (void)
{
    char buffer[100];
    struct somehash **pp;
    size_t len;
    FILE * pFileIn;
    FILE * pFileOut;

    pFileIn  = fopen("in.csv", "r");
    pFileOut  = fopen("out.csv", "w+");

    if (pFileIn==NULL) perror ("Error opening input file");
    if (pFileOut==NULL) perror ("Error opening output file");

    while (fgets(buffer, sizeof buffer, pFileIn)) {
            len = strlen(buffer);
            pp = some_find(buffer, len);
            if (*pp) { /* found */
                fprintf(stderr, "Duplicate:%s\n", buffer);
                }
            else    
        {       /* not found: create one */
                    fprintf(stdout, "%s", buffer);
                    fprintf(pFileOut, "%s", buffer);
                    *pp = malloc(sizeof **pp);
                    (*pp)->next = NULL;
                    (*pp)->hash = some_hash(buffer,len);
                    (*pp)->mem = malloc(1+len);
                    memcpy((*pp)->mem , buffer,  1+len);
                }
        }

return 0;
}

struct somehash **some_find(char *str, unsigned len)
{
    unsigned hash;
    unsigned short slot;
    struct somehash **hnd;

    hash = some_hash(str,len);
    slot = hash % THE_SIZE;
    for (hnd = &table[slot]; *hnd ; hnd = &(*hnd)->next ) {
        if ( (*hnd)->hash != hash) continue;
            if ( strcmp((*hnd)->mem , str) ) continue;
                break;
        }

    return hnd;
}

static unsigned some_hash(char *str, unsigned len)
{
    unsigned val;
    unsigned idx;

    if (!len) len = strlen(str);

    val = 0;
    for(idx=0; idx < len; idx++ )   {
            val ^= (val >> 2) ^ (val << 5) ^ (val << 13) ^ str[idx] ^ 0x80001801;
    }

    return val;
}

但是在输出文件中我们总是第一次出现！

编辑2：澄清：目的是找到输入文件中的所有重复项。如果输入中有多个实例，则该行不应出现在输出中。目的不仅仅是删除该行的重复项，因此每次只发生一次，但如果该行在输入中重复，则删除行的所有实例。

Answer 1

从本质上讲，从文本文件中删除行的唯一方法是复制文件而不在副本中使用这些行。通常是这个顺序的东西：

while (fgets(buffer, size, infile))
    if (search(your_hashtable, buffer) == NOT_FOUND) {
        fputs(line, outfile);
        insert(your_hashtable, buffer);
    }

如果要保存一些存储空间，可以存储哈希值而不是整行。理论上，由于哈希冲突可能会失败，但如果使用像SHA-256这样的加密哈希，碰撞的可能性可能比由于CPU错误导致字符串比较错误的可能性慢。此外：如果你发现与SHA-256的碰撞，你可能至少可以从中获得一点名气（如果不是财富）。

编辑：正如@Zack所提到的，哈希大小的情况基本上是决定你愿意接受的碰撞机会的问题。使用密码256位散列，机会非常遥远，几乎不值得考虑。如果你把它减少到比如128位哈希值，那么它的可能性会上升很多，但它们对于大多数实际用途来说仍然足够小。另一方面，如果你要将它减少到32位CRC，那么碰撞的可能性可能会高于我很乐意接受的数据很重要。

我应该提到一个更多的可能性：另一种可能性是使用一些混合 - 存储类似32位CRC（真的快速计算）以及偏移文件中该行的起始位置。如果您的文件永远不会超过4G，则只能存储8个字节。

在这种情况下，您的工作方式略有不同：首先计算CRC，绝大多数情况下，当它不在文件中时，您将文件复制到输出并在哈希中插入这些值表。当它已经在表格中时，您将寻找可能相同的行，将其读回，并与当前行进行比较。如果匹配，你会回到原来的位置并前进到下一行。如果它们不匹配，则将当前行复制到输出，并将其偏移量添加到哈希表中。

编辑2：让我们假设文件足够小，你可以合理地将整个内容放在内存中。在这种情况下，您可以存储一条线和一个行号。如果已经存储了一行，您可以将其行号更改为-1，以表明它已重复并且不应出现在输出中。

在C ++中（因为它定义了相关的数据结构），它看起来像这样：

std::string line;

typedef std::map<std::string, int> line_record;

line_record lines;
int line_number = 1;

while (std::getline(line, infile)) {
    line_record::iterator existing = lines.find(line);
    if (existing != lines.end()) // if it was already in the map
        existing->second = -1;    // indicate that it's duplicated
    else
        lines.insert(std::make_pair(line, line_number); // otherwise, add it to map
    ++line_number;
}

好的，它会读取行，并且对于每一行，它会检查它是否已经在地图中。如果是，则将line_number设置为-1，以指示它不会出现在输出中。如果不是，则将其与行号一起插入地图。

line_record::iterator pos;

std::vector<line_record::iterator> sortable_lines;

for (pos=lines.begin(); pos != lines.end(); ++pos)
    if (pos->second != -1)
        sortable_lines.push_back(pos);

这将sortable_lines设置为映射中的迭代器向量，因此我们只是将迭代器（基本上就像指针）复制到这些行而不是复制整行。然后它将迭代器复制到那里，但仅适用于行号不为-1的行。

std::sort(sortable_lines.begin(), sortable_lines.end(), by_line_number());

struct by_line_number {
     bool operator()(line_record::iterator a, line_record::iterator b) { 
         return a->second < b->second;
     }
};

然后我们按行号对这些迭代器进行排序。

for (int i=0; i<sortable_lines.size(); i++)
     outfile << sortable_lines[i]->first << "\n";

最后，我们按照原始行号将每行复制到输出文件中。

使用C从文件中删除所有重复的行

1 个答案: