我想生成一个大型数据集，像[obj1, obj2, ...]这样的列表。由于“内存不足”，我无法一次转储它。因此，我想为每个元素调用pickle.dumps，并将其写入文件。使用\n作为f.readline()二进制模式的分隔符。
不幸的是，我发现pickle.dumps()的输出里面有\n。
我该如何解决此问题，或如何使用其他方法来保存和加载如此大的格式化数据。
我要转储的是numpy.array的列表。
[array([[-0.11887642,...e=float32), array([[-0.29432604,...e=float32)]
这是pickle.dumps输出（一小部分）b'\x80\x03]q\x00(cnumpy.core.multiarray\n_reconstruct\nq\x01cnumpy\nndar ........