如何在python中处理大型数组？

Question

我有非常大的数组需要存储在磁盘上。我怎样才能做到这一点？ 我尝试使用h5py，我阅读了文档并发现它的问题是它的第二维可以有1024的最大数量。我怎样才能处理尺寸为10 ^ 5 x 10 ^ 5的数组？

Answer 1

假设您阅读this part of the documentation。 这并不是说第二维的 general 最大大小为1024。这只是使用可调整大小的数据集的一个例子。

HDF5（和h5py）的每轴限制为2 ^ 64个元素，可以在resizable datasets上的文档中阅读。