如何在php中使用wget或curl获取网页上所有路径/文件的列表？

Question

我使用wget -p $url获取网页上的所有文件，以便我可以获取列表。但对于某些URL，事实证明只有index.html可以由wget获取。有没有办法通过wget或cURL获取特定URL上的文件列表？我是否需要检查请求标头和响应标头？

Answer 1

有些服务器不允许您浏览目录列表，如果该目录中有默认文档，则它会接管，您也无法浏览。

您需要实现一个解析所有路径，文件和链接的spider，并创建在HTML中声明和使用的文件的目录结构。 然后您可以下载这些文件。