我们正在使用网络刮刀并将其设置为具有随机功能设置的睡眠功能(因此每次刮擦之间的时间不同)但是我们仍然在20岁后被雅虎阻止-30请求。
有没有人知道是否有限制(即:每分钟20个请求,每小时200个)现在我们每个请求之间的平均值大约是3-6秒。谢谢你的帮助
答案 0 :(得分:0)
每3-6秒1个请求非常低,因此您的抓取工具可能存在其他问题。
一些想法:
如果您使用像Mechanize这样的更高级别的库,这将更容易。
答案 1 :(得分:0)
所以答案是5000个查询。取自
http://forums.digitalpoint.com/showthread.php?t=736784
http://开发者。雅虎。 COM /搜索/ rate.html