python网页抓取IP被阻止

时间:2021-03-16 21:36:28

标签: python web-scraping request-headers

我正在尝试提取 html 页面的源代码。它之前工作正常。但现在源网络服务器想要更多证据证明我不是机器人。这是错误:您的 IP 被阻止。我的 IP 没有被封锁,因为我仍然可以通过任何浏览器手动打开页面。在提出请求之前,我是否需要更改任何参数。谢谢。

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"}
req = requests.get(url, headers=headers)
url_content = req.content
url_content = url_content.replace(b'data-imgid', b'\ndata-imgid')
output_file = open('downloaded.txt', 'wb')
output_file.write(url_content)
output_file.close()

0 个答案:

没有答案