如何抓取内部网站上的所有页面?

时间:2010-06-04 04:29:54

标签: web-crawler

我想点击我内部网站上的每一页,看看是否有任何错误只是通过查看它们。该网站有自己的错误记录,所以我只需要一些东西来关注链接。

我正在运行Windows XP和IIS。

2 个答案:

答案 0 :(得分:2)

wget --spider <URL>

编辑 - 刚刚注意到你说过窗口:

http://gnuwin32.sourceforge.net/packages/wget.htm

答案 1 :(得分:2)

尝试IIS SEO工具包。检查您的网站是否存在SEO相关问题,包括断开的链接。

IIS SEO Toolkit