标签： python performance file io tar
我有一个框架，我需要读取10000个文件（每个文件大约10MB），处理它们并写入另外10000个文件。在下一步中，我读取这些10000个文件，对所有文件进行一些处理，并将更多文件写入磁盘。整个过程多次发生。
问题：是否有一种有效的方法将这些文件存储在连续的位置以节省读/写时间？像焦油一样的东西。我不想压缩它们，但我更喜欢速度。如果我使用tar，有没有办法可以索引（哈希）这些10000个文件，这样我就可以在O（1）时间内读取任何特定文件？