在我的一个项目中，我正在Jupyter Notebook的Python 3.6.8内核中处理大量（100.000+）2D阵列。这些数组实际上是只有1个通道的图像的原始数据，其尺寸为100x100像素。
我将所有这些存储在一个大字典中，其中短字符串作为键，数组作为其值。我需要保存此数据集，然后显然将其加载以与其他地方一起使用。我为此使用了pickle，但正在寻找其他选择。原因如下：通常我需要使用笔记本电脑进行工作，但是当我尝试用.p加载已经保存的pickle.load()文件时，Notebook内核总是死掉。 （保存的.p文件占用了8.83 Gb的大量空间。）
当我尝试将其加载到家用功能更强的PC上时，它的正常工作能力是它的19/20倍，但是在我薄弱的笔记本电脑上，它实际上是无法做到的，甚至对于较小的〜800 Mb大小的{{1} }文件。我的问题是，有没有比泡菜更好的选择，对我而言，这对于保存和加载此类词典可能很有用？