Question

我尝试使用链接列表来存储一个大文件的每一行（从1 GB到70 GB），但这就是问题，我不能因为它溢出了我的RAM并强制窗口停止程序执行。

我写的函数是：

struct Word {
    char word[13];
};

typedef struct Nodo {
    struct Word word;
    struct Nodo *next;
} TNodo;

typedef TNodo *Nodo;

void NewWord(Nodo *p, struct Word s) {
    Nodo temp;
    temp = (Nodo)malloc(sizeof(TNodo));
    temp->word = s;
    temp->next = *p;
    *p = temp;
}

void LoadList(Nodo *p) {
    FILE *f;
    struct Word s;
    char *buffer = malloc(sizeof(struct Word));

    if (!(f= fopen("wordlist.txt", "r"))) {
        fclose(f);
        exit(1);
    }

    while (fgets(buffer, sizeof(struct Word), f)) {
        if (sscanf(buffer,"%s", s.word) == 1) {
             NewWord(p, s);
        }
    }
    fclose(f);
    free(buffer);
}

有没有更好的方法来处理非常大的文本文件中的数据（如删除文件行）而不存储它们？

我试图阅读的文本文件具有以下简单结构：

Word
Worf
Worg

Answer 1

据我所知，我发现以下两种方式比其他方式更好：

1）将较大的块读入大内存缓冲区，然后从该缓冲区中解析出数据。

2）另一种方法可能是代替内存映射文件，然后操作系统会将文件放入您的进程虚拟内存映射中，这样您就可以像读取内存一样读取它。

Answer 2

我根据您的回答更改了功能，现在功能NewWord只是将单词打印到第二个文件中，而根据功能step1()和step2()跳过了不必要的单词。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#define SIZE 67

char  letters[SIZE] = {'A','B','C','D','E','F','G','H','I','J','K','L','M','N','O','P','Q','R','S','T','U','V','W','X','Y','Z',
                        'a','b','c','d','e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','t','u','v','w','x','y','z',
                        '.','_','1','2','3','4','5','6','7','8','9','0','!','@','$'};


struct Word
{
  char word[13];
};



_Bool step1(char * word)
{
for(int i = 0; i < SIZE; i++)
{
for(int j = 0, c = 0; j < strlen(word); j++)
  {
  if(word[j] == letters[i])
  {
    c++;
    if(c > 3)
    {
      return 1;
    }
  }

  }
}
return 0;

}


_Bool step2(char * word)
{
  for(int i = 0; i < SIZE; i++)
  {
  for(int j = 0; j < strlen(word); j++)
    {
    if(word[j] == letters[i] && word[j+1] == letters[i] && word[j+2] == letters[i])
    {
        return 1;
    }

    }
  }
  return 0;


}


void NewWord(FILE *f, struct Word s)
{
if(step1(s.word ) == 1 || step2(s.word) == 1)
 return;

fprintf(f, "%s\n", s.word);

}


void LoadList()
{
  FILE * f1;
  FILE * f2;
 struct Word s;
  char * buffer = malloc(sizeof(struct Word));

  if(!(f1= fopen("wordlist.txt", "r")))
  {
    fclose(f1);
    exit(1);
  }

  if(!(f2 = fopen("bb.txt", "w")))
  {
    fclose(f2);
    exit(1);
  }


 while(fgets(buffer, sizeof(struct Word), f1))
  {
    if(sscanf(buffer,"%s", s.word) == 1)
     {
       NewWord(f2, s);
     }

  }

fclose(f1);
fclose(f2);
free(buffer);

}



int main()
{
 LoadList();

exit(0);
}

如何在c中读取大文本文件

2 个答案: