我试图获取url列表的状态码,以找到带有请求的真实网站(与错误的网站地址相对),但在我的循环中失败了。
例如,由于以下地址而失败:
http://top-promo.fr
我遇到了一个错误,但是当我在浏览器中写它时,我得到了一个响应和一个网页!
尽管根据requests.get returns 403 while the same url works in browser更改了标头,但仍然出现错误:
gaierror: [Errno -5] No address associated with hostname
。
有什么技巧可以使用请求或另一个python库解决它(现在我使用子进程,但遇到其他令人惊讶的错误)。