我需要存储大量的大型布尔三维数组。它们包含False
和True
,但出于说明的目的,请考虑以下具有可比形状的数组作为示例
bool_array = np.zeros((20000,20000,5)).astype(np.bool)
当我使用
时np.save('bool_array.npy', bool_array)
和
bool_array = np.load('bool_array.npy')
生成的文件超过2 GB,加载时间很慢(4 - 5秒)。
请注意,bool_array非常稀疏,五个切片中的任何一行中的任何行最多包含100 True
。
什么是更节省内存和更快的替代方案(file_format,计算稀疏度等)来保存bool_array
?