压缩是一种更快读取许多小文件的有效方法吗?

时间:2018-06-26 00:05:52

标签: python io hard-drive

我正在开发一个在磁盘上存储许多(大约10 ^ 6-10 ^ 9)个小文件(<1K-10K)的便捷应用程序。我需要多次遍历它们以进行计算。将它们压缩到单个文件中将有助于大大减少IO瓶颈吗?我尚未测量不同的解决方案,但希望获得关于期望的指示。此应用程序很容易成为IO绑定。

0 个答案:

没有答案