如果您使用过IDM（Internet下载管理器），则会有一个名为Grabber的项目，该项目会在特殊网站中搜索并获取该网站的文件和文件夹，您可以使用IDM下载它们。
我想在C＃中做类似的事情。我想下载html网页并从这些页面中提取链接。我还想检测目录并尝试搜索其内容 - 可能正在解析目录列表页面的“索引”。
我将如何做到这一点？
答案 0 :(得分：1)
使用regex或使用HtmlAgilityPack（http://htmlagilitypack.codeplex.com/）解析网站并找到文件链接。您可能需要检查文件的扩展名。 IE浏览器。仅解析以.zip|.exe|.msi|.rar|.png|.pdf|.gif|.jpg|.jpeg结尾的链接。
答案 1 :(得分：0)
我曾写过一篇“网络蜘蛛”，并发表了source code over at Code Project。
如果你想以最终用户身份做到这一点，我发现免费的Httrack Website Copier效果非常好。