我如何抓取自己的网站?

时间:2009-05-03 01:10:17

标签: asp-classic

我继承了一个旧的经典ASP网站进行修改。虽然没有预先要求,但我想删除一堆旧的“孤儿”页面。

出于某种原因,旧开发人员决定创建该文件的多个实例而不是使用源代码控制(例如。index-t.asp, index-feb09.asp, index-menutest.asp)。

我想知道是否有人知道某个程序或网站,可以为我抓取我自己的网站?它可能需要能够抓取公共站点,因为有很多包含文件。此外,一些网址是相对的,有些是绝对的。

4 个答案:

答案 0 :(得分:3)

我最喜欢的工具是Xenu

答案 1 :(得分:1)

还有W3C链接检查器:http://validator.w3.org/checklink

答案 2 :(得分:0)

您永远不应该让曾经有效的网址过时。糟糕的网站开发者没有饼干!!

答案 3 :(得分:-1)

你应该考虑:

  1. 将整个现有网站置于源代码管理中,然后
  2. 删除额外页面并查看投诉人