c＃浏览整个网站

Question

给出一个网站URL。 有没有办法遍历网站上的所有链接，并跟踪文本文件或其他内容中的所有页面。我想为此使用Selenium。 但是，其中一些弹出对话框将出现在每个页面的每个页眉和页脚上。因此，显然要跟踪访问过的链接，而不是再次回到它们。

感谢。

Answer 1

尝试Scrapy：http://scrapy.org/

  

Scrapy是一种快速的高级屏幕抓取和网络抓取框架，用于抓取网站并从其网页中提取结构化数据。它可用于各种用途，从数据挖掘到监控和自动化测试。