标签： c# .net visual-studio-2008 web-crawler search-engine
我正在使用VSTS 2008 + C＃+ .Net 3.5。我想找一个抓取网站所有网页的工具（开源），以及通过这个网站链接的任何其他域页面，我想跳过抓取它们（我只需要这个特定域的页面）只要）。对于已爬网的网页，我想将它们存储到本地文件目录中。
任何样品或随时可以使用的开源工具？
答案 0 :(得分：4)
Arachnode.net可能就是你要找的东西。
答案 1 :(得分：3)
我是AN的作者。
AN默认为所有语言编制索引。无需配置。