如何在python中更新npz文件？

Question

我有一个大型数据集，我希望将它们保存在npz文件中。但由于文件的大小对于内存来说很大，我无法将它们保存在npz文件中。 现在我想在迭代中将数据插入到npz文件中。 我怎样才能做到这一点？ HDF5对此更好吗？

Answer 1

接受

locals().update(npzfile) a＃和/或b

在Ipython会话中，locals()是一个大字典，包含您已定义的变量，输入历史记录行和各种输出。 Update将npzfile的字典值添加到较大的字典值。

顺便说一句，您还可以加载和保存MATLAB .mat文件。使用scipy.io.loadmat和savemat。它处理v4（级别1.0），v6和v7到7.2文件。但你有同样的问题 - 结果是字典。

Octave有一个load命令的表达形式，它将数据加载到结构

中

S = load ("file", "options", "v1", "v2", ...)