反向链接报告网站爬虫?

时间:2009-05-25 01:35:33

标签: web hyperlink web-crawler

有哪些工具可以抓取网站并为每个网页报告链接到网站的网页列表?

1 个答案:

答案 0 :(得分:0)

ruby​​的mechanize允许您加载页面,然后使用单个函数调用提取其所有链接