是否存在抓取指定网站的程序，如果有对其他网站的引用则会吐出？我有图像，视频文件，PDF格式等。我需要给另一个开发人员完成端口到他们的新服务器。
我刚将旧网站转移到另一个人，他们仍在使用我的文件。我不知道100％是所有文件，我想确定我需要给他们什么文件。如果有一个可以抓取的linkchecker，如果有对网站根目录（例如sub.domain.com）的引用会很好，那么它会吐出有关它的信息（什么页面，什么是网址）。< / p>
此时我不想阻止该网站使用这些文件，因此该文件已经用完了。
我在Mac上，所以任何终端程序都可以。
答案 0 :(得分：1)
您可以尝试使用Sitesucker来下载网站上使用的所有文件（以及根据设置链接到的所有文件）。它是OSX（和iPhone）捐赠软件，因此可能正是您正在寻找的东西。我相信它会创建一个下载文件的日志文件，因此如果您只想将URL发送给您的同事而不是实际文件，您可以发送该文件。
答案 1 :(得分：0)
您可以查看wget。它可以递归（-r选项）下载网站并将其内容保存到您的硬盘。它通常（即，如果没有另外指定）将所有内容下载到名为主机的目录中。
但请注意不要递归下载整个互联网;）所以请务必指定正确的--domains或--exclude-domains选项。