c＃webbrowser在一个网站中抓取了数千个网页失败

Question

我需要从网站“abc.com”收集数据。网址就像“abc.com/city/a”; “abc.com/city/b”; “abc.com/city/c";..""abc.com/city/zzz”;完全像2000多页。我在想循环中使用WebBrowser来获取数据。但是在100页之后总是失败并得到标题为“来自网页的消息”的空白错误消息框。 这样做的正确方法是什么？

Answer 1

您需要一个发送请求并读取响应的WebClient，尽管我不确定其性能。