我可以重复使用任何Url Spider组件吗？

Question

我想构建一个蜘蛛工具，使用它可以对网站根网址运行它然后它应该通过指定解析程度找到所有破碎和健康的链接（图像，css，.aspx，.docs）例如2级。

然后在结束时它应该在Xml或DataTables

中生成结果的映射

我是否可以在.NET应用程序中重复使用现成的第三方或免费工具？

非常感谢，

Answer 1

之前我使用过Chilkat ASP.Net Spider组件。它允许您指定要爬网的级别数，并允许您设置排除等。

它不会自动为您生成地图（或者至少我使用过的版本没有），但将结果记录到数据库或XML应该相当容易。可以找到有关该组件的详细信息here，您可以从here免费下载该组件