如何在C中为一个非常大的二维数组分配内存

时间:2013-04-04 14:21:08

标签: c allocation large-data

我有一个包含500万行和4列的文件。像往常一样,我尝试用500万x 4阵列读取数据。

long M = 5000000;
double *coordinates[M];
for (i = 0; i < M; i++){
    coordinates[i] = (double *) calloc(3, sizeof(double));
}

但是当我运行此代码时,它有段错误。在线搜索答案后,我知道这是因为堆栈没有那么多内存。如果数组是一维的,有人建议使用malloc在堆上分配内存。但我需要一个二维数组,我真的需要这么多内存,我希望有人可以帮助我摆脱这个。非常感谢。

4 个答案:

答案 0 :(得分:3)

你真的需要额外的指针层吗?

size_t M = 4321098;
double (*coordinates)[4] = calloc(M, sizeof *coordinates);

你已经完成了。 coordinates[234329][3]=3.1415926535;一切正常。

答案 1 :(得分:2)

你可以改变

double *coordinates[M];

double **coordinates = malloc(M * sizeof(*coordinates));

请确保稍后在程序中free此内存。

for (i = 0; i < M; i++){
    free(coordinates[i]);
}
free(coordinates);

答案 2 :(得分:2)

正如大家所说,问题是你试图在你的函数堆栈上分配该数组..但是,如果你在代码中将该数组定义为静态怎么办? (就像函数中的全局变量或静态变量一样?)每次调用函数时都不必分配它。

这将避免调用malloc和calloc(代价是固定大小的数组而不是动态数组)。

#include <stdio.h>
#include <stdlib.h>
#define ROWS 10000000
#define COLS 4
double coordinates[ROWS][COLS];

int main() {

    for (int i = 0; i < ROWS; i++) {
        for (int j = 0; j < COLS; j++) {
            coordinates[i][j] = 1.0;
        }
    }

    printf("%.4f\n", coordinates[0][2]);

    return 0;
}

自动变量和静态变量之间的区别在于自动变量存在于函数内部(可能每次调用函数时都会分配它们,而静态变量永远保持其值,并且可能只分配一次)。

这样的事情。我正在使用C99,所以你可以用它编译它.. C99

或gcc -std = c99

或CC = c99 make file

另外,在Linux中(我也想在Windows中)你可以increase the stack size of your program.

答案 3 :(得分:0)

您正在尝试在堆栈上声明该数组而不是堆,这会导致堆栈溢出错误。

尝试以下方法......

double** coordinates = malloc( sizeof( double* ) * M );