当使用datameer，presto和spark等工具时，哪种压缩技术效果更好

Question

我们正在努力选择更好的压缩技术。我们尝试使用 bzip2 ，但花费更多时间进行压缩。

Answer 1

我认为你的问题没有直接答案。什么会更好或更好取决于您的基础设施，要求和数据流。

您可以查看＆＃34; Performance comparison of different file formats and storage engines in the Hadoop ecosystem＆＃34;或＆＃34; Hadoop Compression. Choosing compression codec.＆＃34;。

从速度的角度来看，Snappy可能是一个不错的尝试。