从URL获取网站内容

Question

我有一个部署在服务器上的网站，我的组织是URL

http://mysubsite.mysite.com/Folder1/Folder2/Default.aspx

他们是否可以阅读文件夹中存在的所有页面。像文件夹1内容或文件夹2内容？

Answer 1

这可以通过wget（http://www.gnu.org/software/wget/）完成。

Ex：wget -nc --page-requisites --domains mysubsite.mysite.com --no-parent mysubsite.mysite.com/Folder1/Folder2/ mysubsite.mysite.com/Folder1/Folder2 /

-nc是no-clobber，意味着不会覆盖任何现有文件 - 页面必需品将获取正确页面查看所需的任何内容（css文件等） --domains mysubsite.mysite.com不会关注mysubsite.mysite.com之外的任何链接 --no-parent：不要关注目录/ Folder1 / Folder2 /

之外的链接

编辑：重新阅读你的问题 - 我认为你不想使用递归标志。坚持使用--no-parent，这将允许您获取/ Folder1 / Folder2 /目录中的所有内容。

HTH

Answer 2

不，你不能。

当然，您可以按照其他人的建议使用wget，但这样做并不能完成您所追求的目标。它只会读取链接并收集它可以找到的文件。

简而言之，客户端不知道服务器上有哪些文件，并不是所有服务器都会告诉它。