针对大量（> 10Tb）体积数据的有损压缩的最佳解决方案（天体物理学模拟）

Question

我正在研究天体物理学（星系形成）的大型模拟，我遇到了数据管理问题。实际上，这些模拟产生了非常大量的体积数据（3d细胞上的物理量（如3d像素））。我的问题很简单：根据你的说法，压缩这些数据（有损压缩）的最佳解决方案是什么。

我需要的是： - 可调节的有损3D压缩 - 我不需要“即用型”解决方案，但是我可以适应我的模拟代码的开源库/代码 - 能够处理大量数据

（解决方案可能来自图像/体积图像压缩库）

非常感谢。

编辑：这不是用于绘制/显示这些数据，这是为了真正减少这些数据的重量（因为如果我可以减少重量，我可以在磁盘上编写更多的模拟时间步骤，以便更好地解决后处理中星系的动态）

Answer 1

我不太确定这是否是您正在寻找的内容，因为这不是完全压缩，也不会减少磁盘上的数据量。但它可以用来简化表示和计算。

用于呈现大型数据集的解决方案是使用LOD实现。它们的定义是有损的，有些是可调节的。有一些连续（和可调）LOD算法实现here和here

编辑：如果你存储算法的输出，你实际上可以使用LOD作为压缩方法，但它肯定远不是最有效的压缩策略

Answer 2

嗯，如果不了解数据的实际格式和构建规则，很难回答。

有了这样的原始数量，格式是可压缩的（当我听到3D像素时，我希望如此）。

因此，您最好的猜测是将源数据“剪切”为块，这些块的大小对于您正在分析的格式是自然的，并且可以独立地压缩每个块。然后，您将在需要时解压缩每个块。

如果原始数据证明是非常可压缩的（例如很多零），那么使用这种简单的方法可以获得非常好的结果。

Answer 3

我有类似的问题，我提出的“解决方案”是通过将其中一个空间维度转换为时间来使用现成的视频压缩。虽然不是很漂亮，但是在视频压缩（更不用说硬件支持）方面做了很多工作，很难被击败。

Answer 4

目前我还致力于3D点缩减/压缩（但使用了三维数据），我的解决方案是使用OctoMap框架和extend it with geometrical point distribution models。使用OcTree属性和分散数据近似的层次分布aproximation，可以在较低的细节级别上实现具有高精度的LOD方法。