标签： c# vb.net web-crawler
我想使用C＃或VB.NET抓取网站。我希望抓取工具从网页中提取网址，我也希望抓取工具跟踪网址，以便我能够从网站中提取所有网址。
我怎么写这个？
答案 0 :(得分：1)
在这种情况下，什么是网站？
本地虚拟目录？ 一个静态网页？ 动态页面托管在哪里？
看看
wget --mirror
Curl也可以在这里有选择。
此外，请在开始抓网之前阅读robots.txt：）
robots.txt