如何使用Python压缩和解压缩内存中不适合的文件

Question

我有很多文件，总计超过125GB。我想压缩它们，因为它们会经常通过Internet传输，因此我考虑在传输之前先将它们压缩然后再解压缩，但是一位同事告诉我，为了使用Python来实现，它们必须适合内存。

有没有一种方法可以在不耗尽我所有内存的情况下进行操作？内置的ZipFile模块可能已经避免将所有数据加载到内存中（并且我的同事弄错了），但是我没有找到答案的任何来源。

Answer 1

您可以改用gzip，它更容易支持流压缩和解压缩。