NCrawler也不会超过第一个网址。 1.所以，如果我把yahoo.com和MaxCrawlDepth = 3，它只抓取该页面并停止。我还使用数据包嗅探器验证了这一点，因为它所使用的唯一地址是yahoo.com。
如何抓取页面中的每个链接？ （我没有时间查看源代码）
答案 0 :(得分：0)
NCrawler需要一个完整形成的URL。尝试使用http://www.yahoo.com
替换网址答案 1 :(得分：0)
当我添加HTMLAgilityPack时会发生这种情况，请检查是否有它并将其删除。