Question

我正在尝试将8GB二进制文件读入内存并进行操作。文件包含序列HEADER，DATA，HEADER，DATA，....我想将它（在内存中）转移到：DATA，DATA，DATA，......

是灰度16位图像数据。

我的问题是我只能使用顺序uproach（代码跟随），因为.read（）函数只适用于32位寄存器，而且下面的指针只允许我有32位最大数量的无符号短路。

我有什么遗失的吗？它是64位Linux，64GB RAM，所以这是很多。（它确实需要在内存中同时存在）我能以某种方式获得更多指针[2 ^ 32]吗？然后我可以按顺序读取它，如果读取是我猜的唯一选择。

编辑：我更新了我的代码，它没有抱怨什么，只有memove给我分段错误（对于j＆gt; = 448）。有什么想法吗？

示例代码：

const unsigned int HEADERSIZE=384;
ifstream fs;
fs.open("./myfile.bin", ios::in | ios::binary);

unsigned short *tmp0 = new unsigned short [256*256*256*256+HEADERSIZE/2*256*256];
unsigned short *tmpNoHead = new unsigned short [256*256*256*256];

fs.read((char*)tmp0, 2*256*256*256*256+HEADERSIZE*256*256);
//endian swap
unsigned char*c0 = (unsigned char*)tmp0;
for (long i = 0; i < HEADERSIZE*256*256+256*256*256*256*2; i += 2)
swap(c0[i], c0[i + 1]);

//memmove or memcpy seg fault if j>=448
for (int j = 0; j<256*256;j++) memmove(tmpNoHead+j*256*256,c0+HEADERSIZE*(j+1)+j*256*256*2,256*256*2);

fs.close();
return 0;

Answer 1

在64位系统上，虽然short是16位而int仍然是32位，指针是64位，所以你确实可以访问整个8GB数据数组*或int *指针。

为了证明这一点，你可以运行：

printf("sizeof(short*) = %lu\n", sizeof(short*));

在我的64位机器上，打印8（64位）。

小心你的i + j * DATA_SIZE行，如果总和超过2 ^ 31，你应该使i和j长整齐。

加载巨大的（8GB）二进制文件并将其转移到内存C ++ Linux 64位

1 个答案: