程序扫描我的网站,找到链接到外部网站的所有页面

时间:2011-10-14 11:56:34

标签: html web-crawler

我想生成一个链接到外部网站的网站中的所有网页列表(包含500页或更多页面)。

在我开始尝试编写这个代码之前,我想知道是否存在一些现成的东西,所以我不会一无所获。

如果您知道任何内容,或已使用过任何内容,请分享。

由于

5 个答案:

答案 0 :(得分:4)

对于链接检查,我使用Xenu's Link Sleuth

答案 1 :(得分:2)

W3C link checker将为您提供所有链接的列表,并告诉您哪些链接正在运行。废弃输出以仅显示外部链接应该是非常简单的。

答案 2 :(得分:0)

您是否考虑过使用网站嗅探器?有很多免费工具可以浏览您的网站并列出您的网页。

希望这会有所帮助:)

答案 3 :(得分:0)

SEOMOZ Pro帐户 - 注册免费30天试用版,我们的最佳网站抓取工具 http://www.seomoz.org/freetrial

答案 4 :(得分:-2)

最终,最简单的方法是在数据库中使用SQL查询,因此在尝试查找外部程序之前,请确保在遇到类似问题时通过SQL检查是否能够执行此操作。

感谢大家的建议。