Question

因此，当标题出现时，我试图确定并复制大目录中的最新文件。我找到的大多数解决方案都是首先列出目录或使用glob.glob，然后使用max(file, key=os.path.getmtime)来确定最新文件。

我的问题是我尝试搜索的目录有超过10,000个文件，列出所有这些文件需要永久。

有没有办法让我能够“退出”＃34;可以这么说，一旦我确定了第一个（最新的）文件是什么？或者也许是另一种我不知道的方法？

Answer 1

您可以使用os.walk遍历目录并在生成器上应用max。根据您的使用情况，有许多细微差别。例如，您想要浅层地或递归地走进子目录吗？作为概念证明，您可以尝试这样的事情，但可能会根据您的需要进行修改。

import os
import os.path


def mtime_gen(root, *args, **kwargs):
    for dirpath, dirnames, filenames in os.walk(root, *args, **kwargs):
        # NOTE:
        # Here, if you want to skip the depth-walk into sub-directories,
        # you can ignore the `dirnames`
        for basename in filenames:
            path = os.path.join(dirpath, basename)
            # Further heuristics, if any, may help you skipping impossible
            # candidates of the most recent file with the `continue` statement
            # so that expensive `stat` calls can be omitted.
            yield os.stat(path).st_mtime, path

recent_timestamp, recent_path = max(mtime_gen("/path/to/root"))
do_something_with(recent_path)    # For example, copying it.

这可能比glob稍快，因为walk没有进行模式匹配。与listdir相比，它不会使用子目录填充列表，如果这是一个问题。

瓶颈可能是系统调用速度慢stat，因此如果您已经了解了可能的结果，那么一些启发式方法可能会帮助您跳过不可能的路径，而不是stat它们。

请注意，这只是一个概念证明。与一般的系统编程一样，您必须仔细处理并发症和异常。这是一项非常重要的任务。

Python 3：在大目录中复制最新文件

1 个答案: