标签: python io hard-drive
我正在开发一个在磁盘上存储许多(大约10 ^ 6-10 ^ 9)个小文件(<1K-10K)的便捷应用程序。我需要多次遍历它们以进行计算。将它们压缩到单个文件中将有助于大大减少IO瓶颈吗?我尚未测量不同的解决方案,但希望获得关于期望的指示。此应用程序很容易成为IO绑定。