谷歌机器人系统

时间:2016-10-30 08:29:30

标签: python python-requests

因此。我糊涂了。 我正在使用

发出SINGLE请求
 headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36',

}
    response = requests.get('https://www.google.com/search?num=1&q=Philippines Loans&oq=Philippines Loans&&start=10',headers=headers).text

然而,它要我填写验证码。我在浏览器上提出了同样的要求;它工作得很好没有验证码。当我通过python发出请求时怎么会不起作用?如果我通过脚本提出请求,谷歌如何检测天气?我明白我是否要提出100个请求。但我只提出一个请求,它仍然会让我错误。我在谷歌浏览器中制作的相同请求也可以。我认为这与用户代理有关。显然不是。可能是这样的?我还应该通过什么?与通过谷歌浏览器手动发送获取请求不是requests.get相同吗?是什么让它与众不同?之前,在我填写验证码之前,我确实发出了超过500个没有睡眠计时器的请求。

1 个答案:

答案 0 :(得分:0)

您发布的代码适合我。

Google将监控您的IP和流量。如果您正在执行非人数量的请求,那么谷歌会将您的IP列入黑名单一段时间,并要求您解决验证码。如果你等了几个小时,你应该停止看到标题。

解决此问题的唯一真正方法是使用代理,但是您会发现,您可以在网络上找到的大多数免费代理都已被谷歌列入黑名单。因此,如果您需要一些可靠的实现,则必须使用允许您轮换IP的提供程序设置自己的代理服务器,或者代替租用专用代理服务器。那些往往相当昂贵。