是否最好将临时数据存储在数组中或将其保存到文件中以便以后访问？

Question

这是一个广泛的问题。我正在运行一个非常长的模拟（在Python中），它生成大量的数据（大约10,000 729 * 729矩阵）。我只需要数据来绘制几张图，然后我就完成了它。目前我将数据保存在（numpy）数组中。模拟完成后，我绘制数据。

另一种方法是将数据写入文件，然后在模拟后访问文件以绘制图表等。

总的来说，就管理大型临时数据集的最佳（即最快）方式达成了共识。这些都是“最佳实践”吗？

Answer 1

尝试通过进一步处理/累积，尽可能快地使数据过时。立即密谋。

您没有提供所需内存/存储的详细信息。对于稀疏矩阵，存在有效的表示。如果你的矩阵不稀疏，那么每个矩阵大约有500k个条目，因此共有5G个条目。在不知道您的数据类型的情况下，这通常可能是40GB内存。

我强烈建议您检查一下您的算法，以实现更小的内存占用。