我希望看到我网站上所有可公开访问链接的列表,以便我知道用户可以访问哪些页面。是否有网站或应用程序会抓取我的网站并显示此类信息?
答案 0 :(得分:1)
如果您的网站已在线,则可以使用Google Webmaster Tools轻松获取该信息。您也可以在Google上查找site:http://www.yoursite.com
以获取已抓取的网页列表。
答案 1 :(得分:0)
您可以尝试运行递归wget(通过传递-r选项):
wget -r http://www.example.com