Question

我必须做一个项目，我需要生成一个结构的最大记录数，将它们保存在一个文件中（我认为在二进制模式下是最好的选项），然后读取它们。生成的文件应该有不同的大小{1gb，10gb，20gb ...}但是如何分配内存来访问它们？我正在使用链表来存储数据，以下是我正在使用的代码列表：

#include "Lista.h"
#include <stdlib.h>
#include <stdio.h>

void inicializa_lista(Lista *l, int t)
{
    l->tamInfo = t;
    l->cabeca = NULL;
}

int insereNoInicio(Lista *l, void *info)
{
    Elemento *p = aloca_elemento(l->tamInfo, info);

    if(p == NULL)
        return 0;/*Erro na alocação.*/

    p->info = malloc(l->tamInfo);

    if(p->info == NULL)
    {
        free(p);
        return 0;/*Erro.*/
    }

    memcpy(p->info, info, l->tamInfo);

    p->proximo = l->cabeca;

    l->cabeca = p;

    return 1;
}

int insereNoFim(Lista *l, void *info)
{
    if(lista_vazia(*l))
        return insereNoInicio(l, info);

    Elemento *p = aloca_elemento(l->tamInfo, info);

    if(p == NULL)
        return 0;

    Elemento *aux = l->cabeca;

    while(aux->proximo != NULL)
        aux = aux->proximo;

    p->proximo = NULL;

    aux->proximo = p;

    return 1;
}

int removeNoInicio(Lista *l, void *info)
{
    if(lista_vazia(*l))
        return ERRO_LISTA_VAAZIA;

    Elemento *p = l->cabeca;

    l->cabeca = p->proximo;/*equivalentes l->cabeca = l->cabeca->proximo;*/

    memcpy(info, p->info, l->tamInfo);

    free(p->info);

    free(p);

    return 1;
}

int removeNoFim(Lista *l, void *info)
{
    if(lista_vazia(*l))
        return ERRO_LISTA_VAAZIA;

    if(l->cabeca->proximo == NULL)/* somente quando a lista tem um elemento */
        return removeNoInicio(l, info);

    Elemento *p = l->cabeca;

    while(p->proximo->proximo != NULL)
        p = p->proximo;

    memcpy(info, p->proximo->info, l->tamInfo);

    free(p->proximo->info);
    free(p->proximo);

    p->proximo = NULL;

    return 1;
}

int lista_vazia(Lista l)
{
    return l.cabeca == NULL;
}

Elemento *aloca_elemento(int tamInfo, void *info)
{
    Elemento *p = malloc(sizeof(Elemento));

    if(p == NULL)
        return NULL;

    p->info = malloc(tamInfo);

    if(p->info == NULL)
    {
        free(p);

        return NULL;
    }

    memcpy(p->info, info, tamInfo);

    return p;
}

void mostra_lista(Lista l, void (*mostra_info)(void *))
{
    if(lista_vazia(l))
        printf("A lista está vazia\n");
    else
    {
        Elemento *p = l.cabeca;

        printf("Dados da Lista:\n");

        while(p != NULL)
        {
            mostra_info(p->info);
            p = p->proximo;
        }
    }
}

void limpa_lista(Lista *l)
{
    Elemento *p = l->cabeca;

    while(p != NULL)
    {
        Elemento *aux = p->proximo;

        free(p->info);
        free(p);

        p = aux;
    }

    l->cabeca = NULL;
}

int insereNaPosicao(Lista *l,void *info,int pos){
    if(pos<0)
        return ERRO_POSICAO_INVALIDA;
    if(pos==0)
        return insereNoFim(l,info);
    Elemento *p=l->cabeca;
    int cont =0;
    while(cont<pos-1 && p->proximo!=NULL){
        p=p->proximo;
        cont++;
    }
    if(cont!=pos-1)
        return ERRO_POSICAO_INVALIDA;
    Elemento *novo = aloca_elemento(l->tamInfo,info);
    if(novo==NULL)
        return 0; // ERRO ALOCACAO
    novo->proximo=p->proximo;
    p->proximo=novo;
    return 1;
}

int removeNaPosicao(Lista *l,void *info,int pos){
    if(lista_vazia(*l)) return ERRO_LISTA_VAAZIA;
    if(pos<0) return ERRO_POSICAO_INVALIDA;
    Elemento *p = l->cabeca;
    if(pos==0){
        removeNoInicio(l,info);
    }
    int cont;
    while(cont<pos-1 &&p->proximo!=NULL){
        p=p->proximo;
        cont++;
    }
    if(cont!=pos-1) return ERRO_POSICAO_INVALIDA;
    Elemento *aux = p->proximo;
    p->proximo = aux ->proximo;
    free(aux->info);
    free(aux);
    return 1;
}


int compara_float(void *a,void *b){
    float *p1=a,*p2=b;
    if(*p1>*p2) return 1;
    if(*p1<*p2) return -1;
    return 0;
}


int insereEmOrdem(Lista *l,void *info,int(*compara)(void*,void*)){
    int cont =0;
    Elemento *p = l->cabeca;
    while(p!=NULL && compara(info,p->info)>0){
        cont++;
        p=p->proximo;
    }
    return insereNaPosicao(l,info,cont);

}

///// HEADER

#define ERRO_LISTA_VAAZIA -1
#define ERRO_POSICAO_INVALIDA -2


typedef struct{
    char* nome;
    int matricula;
    int notas;
    int faltas;
}Diario;

typedef struct ele
{
    void *info;
    struct ele *proximo;
}Elemento;

typedef struct
{
    int tamInfo;
    Elemento *cabeca;
}Lista;

void inicializa_lista(Lista *l, int t);

int insereNoInicio(Lista *l, void *info);

int insereNoFim(Lista *l, void *info);

int removeNoInicio(Lista *l, void *info);

int removeNoFim(Lista *l, void *info);

int lista_vazia(Lista l);

Elemento *aloca_elemento(int tamInfo, void *info);

void mostra_lista(Lista l, void (*mostra_info)(void *));

void limpa_lista(Lista *l);

int insereNaPosicao(Lista *l,void *info,int pos);

int insereEmOrdem(Lista *l,void *info,int(*compara)(void*,void*));

int compara_float(void *a,void *b);

Answer 1

你有那么多内存吗？不要费心，只需将内存转储到文件中，反之亦然。

但是我敢打赌你没有那么多记忆（我已经看到未来的读者在几年内因为纯粹的怀疑而抬起眉毛）。因此，您需要将数据分成几部分，每个部分都足够小，以适应合理数量的RAM。

实际数据位于名为Diario的结构中，这是正确的吗？这使它成为最小的切片。它的完整内容可以写成纯文本，不需要二进制文件，您只需要一个简单的CSV文件。

编写CSV很容易，阅读有点复杂但是因为你有一个固定的格式，它应该相对简单。

搜索条目可能意味着搜索可能会持续一段时间的整个文件。我建议添加某种索引来减少搜索时间。

Answer 2

这完全取决于您计划如何使用数据。从技术上讲，你有内存和虚拟内存之间的内存。但请记住，如果你通过你的文件随机访问数据可能（意味着可能）导致你的系统捶打（减速）。您可能会偶尔访问该文件。

一些相当标准的技术： 1）使用多个theads：几个访问文件，一个或多个处理数据（actor模式） 2）对数据进行排序 3）多个缓存

现在，在实现这些之前，这正是SQL数据库为您做的（以及其他一些事情）。至少，一点数据建模（在您的情况下是一个表数据库）将允许您测试使用这些技术加快您的数据处理算法的速度。

Ps：我曾经实施过树状结构，因为我被告知这样做。结构运作良好，但需要时间来实施。然而，进行一些数据建模会更快，并且首先对算法进行处理，因为我们知道结构会起作用，算法结果不能很好地扩展，所以项目需要稍微重构一下。在这方面，数据库更容易更改。

用C读/写一个大文件

2 个答案: