使用Python 2.7中的urllib2从URL下载任意数量的文件。 urllib2的“os.walk”相当于？

Question

我想在已知网址下载特定目录中的所有文件。这些文件的名称不一定是已知的，但它们的名称都包含一个公共关键字，并且具有相同的扩展名（.xml）。

对于urllib2，是否有等效的“os.walk”，这样我就可以简单地遍历目录中存在的任何文件并打开它们进行解析？

我在网上看到的唯一例子涉及一个已知名称的文件，其中包含目录中所有文件名的列表。我不想这样做......

其他可能相关的信息： 这些文件位于Apache服务器上，可以公开访问。

Answer 1

如果不知道文件名，这是不可能的 - 您必须随机尝试每个可能的名称，因为您知道是否存在具有此名称的文件的唯一方法是请求URL并查看是否得到响应。但您可以让Apache Web服务器为您生成一个目录索引（使用mod_autoindex）并解析它以获取文件名。