Web Scraping和http太多请求回答

时间:2013-07-10 06:12:19

标签: c# http web-scraping webclient

在处理网络抓取项目时,为了提取我需要的所有信息,我需要提出很多请求,但是服务器在大约50个请求之后用429状态代码回答,指示错误“请求太多”,如何处理这个?

2 个答案:

答案 0 :(得分:0)

也许您应该尝试使用HideMyIP,并每5或10分钟更改一次IP

答案 1 :(得分:0)

我的猜测是,您要么降低请求的频率,要么匿名。我们在我们的网站上有几篇文章将解释您的选择,如果您决定采用匿名化路线:

How to surf and screen-scrape anonymously

To Anonymize or to Not Anonymize