分配大量内存和size_t的用法?

时间:2011-09-28 06:23:01

标签: c++ 64-bit memory-management size-t

在我的应用程序中,我正在分配内存来存储从堆栈位图图像中读取的“卷数据”。

我将数据存储在“unsigned char”中,并且在分配期间,首先我尝试为整个数据分配连续的内存块。如果失败则尝试分散分配。(每个图像一个小的内存块)

unsigned char *data;

这是我分配内存的方法,我用“tryContinouseBlock = true”调用。

 bool RzVolume::initVolumeData(int xsize, int ysize, int zsize, int bbpsize,bool tryContinouseBlock) {
        this->nx = xsize;
        this->ny = ysize;
        this->nz = zsize;
        this->bbp_type=bbpsize;

        bool succ = false;

        if (tryContinouseBlock) {
            succ = helper_allocContinouseVolume(xsize, ysize, zsize, bbpsize);
        }

        if (!succ) {
            succ = helper_allocScatteredVolume(xsize, ysize, zsize, bbpsize);
        } else {
            isContinousAlloc = true;
        }
        if (!succ) {
            qErrnoWarning("Critical ERROR - Scattered allocation also failed!!!!");
        }
        return succ;

    }



    bool RzVolume::helper_allocContinouseVolume(int xsize, int ysize, int zsize,
            int bbpsize) {
        try {
            data = new unsigned char*[1];
            int total=xsize*ysize*zsize*bbpsize;
            data[0] = new unsigned char[total];
            qDebug("VoxelData allocated - Continouse! x=%d y=%d Z=%d bytes=%d",xsize,ysize,zsize,xsize * ysize * zsize * bbpsize);
        } catch (std::bad_alloc e) {
            return false;
        }

        return true;

    }

bool RzVolume::helper_allocScatteredVolume(int xsize, int ysize, int zsize,
        int bbpsize) {
    data = new unsigned char*[zsize];
    //isContinousAlloc=false;
    int allocCount = 0;
    try { //Now try to allocate for each image
        for (int i = 0; i < zsize; i++) {
            data[i] = new unsigned char[xsize * ysize];
            allocCount++;
        }
    } catch (std::bad_alloc ee) {
        //We failed to allocated either way.Failed!

        //deallocate any allocated memory;
        for (int i = 0; i < allocCount; i++) {
            delete data[i];
        }
        delete data;
        data = NULL;
        return false;
    }
    qDebug("VoxelData allocated - Scattered!");
    return true;
}

我希望此代码能够在32位和64位平台上运行。

现在的问题是,即使在64Bit环境中(有12Gb内存),当我加载(1896 * 1816 * 1253)数据大小(bbpsize = 1)时, helper_allocContinouseVolume()方法也会失败。 因为,我使用“int”数据类型进行内存地址访问,“int”的maxmum是4294967295。

在32位和64位环境中,下面的代码给出的值为“19282112”。

 int sx=1896;
 int sy=1816;
 int sz=1253;
 printf("%d",sx*sy*sz);

其中正确的值应为“4314249408”。

那么我应该使用哪种数据类型呢?我想在32位和64位环境中使用相同的代码。

3 个答案:

答案 0 :(得分:2)

在使用&gt;工作站工作时,我经常遇到同样的问题。 32GB内存和大型数据集。

size_t通常是在这种情况下用于所有索引的正确数据类型,因为它“通常”匹配指针大小并保持与memcpy()和其他库函数兼容。

唯一的问题是,在32位上,可能很难检测到溢出的情况。因此,使用最大整数大小来使用单独的内存计算阶段来查看它是否可能在32位上以便您可以正常处理它是值得的。

答案 1 :(得分:1)

使用ptrdiff_t中的 <stddef.h>

原因:它是签名的,因此避免了涉及unsigned的隐式提升问题,并且它在除16位之外的任何系统上都具有必要的范围(在正式情况下它也适用于16位,但那是因为formal具有至少17( sic )位的愚蠢要求。

答案 2 :(得分:1)

size_t被定义为足以描述最大有效对象大小。所以一般来说,在分配对象时,这是正确的大小。

ptrdiff_t被定义为能够描述任何两个地址之间的差异。

使用符合您目的的那个。这样你就可以确保它具有合适的尺寸。