所以我有一个大型目录树(20k +文件夹)我想扫描某些文件。该目录有几个深度路径,可能需要一段时间才能遍历。做os.walk需要大约6分钟,我想知道是否有办法加快速度。
我想将脚本提供给顶级文件夹,并让它通过子文件夹生成线程,因为它需要。例如,将其“\ top”提供给它将指示它直接在“\ top”下为文件夹生成线程。接下来它会为“\ top \ a”下的所有文件夹生成线程。随着这一进展,它将导致创建大量线程,因此限制这将是优选的。当文件夹“\ top \ a”中的线程完成时,它们将允许文件夹“\ top \ d”中的线程开始。
最终目标是定期运行此脚本,以便在找到新文件时对其进行更新。