Yahoo Web Scrapes:有什么限制?

时间:2010-04-20 23:27:04

标签: asp.net visual-studio-2008 screen-scraping web-scraping

我们正在使用网络刮刀并将其设置为具有随机功能设置的睡眠功能(因此每次刮擦之间的时间不同)但是我们仍然在20岁后被雅虎阻止-30请求。

有没有人知道是否有限制(即:每分钟20个请求,每小时200个)现在我们每个请求之间的平均值大约是3-6秒。谢谢你的帮助

2 个答案:

答案 0 :(得分:0)

每3-6秒1个请求非常低,因此您的抓取工具可能存在其他问题。

一些想法:

  • 将User-Agent设置为非可疑的
  • 将Referer标头设置为同一个域
  • 尝试使用其他IP运行您的抓取工具,以防您当前的IP被列入黑名单
  • 尝试维护Cookie

如果您使用像Mechanize这样的更高级别的库,这将更容易。

答案 1 :(得分:0)

所以答案是5000个查询。取自

http://forums.digitalpoint.com/showthread.php?t=736784

http://开发者。雅虎。 COM /搜索/ rate.html