存储巨大的矩阵

Question

我有N x N字节矩阵N = 200,000,000。我希望在M[i, j]时间内获得O(1)的值，并且比O(N*N)内存更有效地将矩阵存储在硬盘驱动器上。矩阵不稀疏，但值始终在0..255之间。它没有希望吗？

Answer 1

如果矩阵值是随机的 - 那么是的，你被搞砸了。你需要一个200MB ^ 2的磁盘。

如果矩阵具有图案，则可以存储它。它将在很大程度上取决于您对矩阵的了解，以及是否可以对其进行安全转换。

我会遇到一个问题 - 矩阵的哪些区域的值无关紧要？如果是这样，我会把它们归零而不是存储它们。