我用python3创建了一些web spider项目,需要经常更改ip。我用来获取/发布请求的lib是"请求"。官方文档提到使用proxies=ip #ip={'http':'xxx.xxx.xxx.xxx:xxx'}
方法添加get/post
以使用ip proxy。
顺便说一下,建议你们可以使用代理网站上的免费API:gimmeproxy.com它非常好:))
我发现我的蜘蛛仍然被目标网站禁止,然后我写了一个函数来测试proxies=ip
是否有效:
def test():
ip=get_proxy("US")
url='https://api.ipify.org?format=json'
res=s.get(url,proxies=ip,verify=True)
dic=json.loads(res.text)
print(dic["ip"])
本网站将返回您当前的IP,我发现proxies=ip
无法正常工作....
任何人遇到同样的情况?或者我做错了什么?
感谢阅读和回答:)