标签: c# http web-scraping webclient
在处理网络抓取项目时,为了提取我需要的所有信息,我需要提出很多请求,但是服务器在大约50个请求之后用429状态代码回答,指示错误“请求太多”,如何处理这个?
答案 0 :(得分:0)
也许您应该尝试使用HideMyIP,并每5或10分钟更改一次IP
答案 1 :(得分:0)
我的猜测是,您要么降低请求的频率,要么匿名。我们在我们的网站上有几篇文章将解释您的选择,如果您决定采用匿名化路线:
How to surf and screen-scrape anonymously
To Anonymize or to Not Anonymize