从特定点循环列表？

Question

我想知道是否有办法在内存中保留极大的列表，然后从特定点处理这些列表。由于这些列表在处理之前将有多达4,000亿个数字，我们需要拆分它们但是我没有丝毫想法（因为我找不到一个例子）在尝试处理列表时从哪里开始Python中的特定点。编辑：现在我们没有尝试创建多维，但如果它更容易，那么我肯定会这样做。

Answer 1

即使您的数字是字节，400GB（如果您在long-scale meaning中使用数十亿，则为400TB）通常不适合RAM。因此，我猜numpy.memmap或h5py可能是您正在寻找的。

Answer 2

除@lazyr's点之外，如果你使用numpy.memmap方法，那么关于numpy数组的视图的previous discussion可能会很有用。

这也是你应该考虑的方式，如果你有内存堆栈，并且实际上的所有内容都在RAM中。