Question

我需要在文件上存储一个非常大的矢量数组。尺寸可能大到1e48。如何将其存储在一个文件中，然后从中顺序读取一组数据（一次说8个元素），操作并将操作数据存储回文件中。数组元素是双精度/甚至更大的小数。代码可以是Python。有没有人有什么建议？

Answer 1

我自愿撇开你有一个非常大的数据集的事实。一个好的（实际上并不是那么糟糕）策略不是使用例如加载整个文件：

array = f.readlines()

而是使用光标并一次加载8个元素：

line = f.readline()
while line:
    #Do stuff here

这里我假设您将每个元素放在不同的行上。