Python3连接由同行重置

Question

  

urllib.error.URLError urlopen错误[Errno 54]由同行重置连接

我在尝试获取notino.com时遇到此错误。我猜这家伙用了一些聪明的方法来阻止屏幕刮板。我尝试添加标题和Cookie，但这不起作用

from urllib.request import urlopen
url = "https://www.notino.com"
html = urlopen(url)

Answer 1

自动机器人检测机制很可能会丢失您的连接。你应该提供一个User-Agent标题来假冒浏览器访问 - 为我工作：

>>> import requests
>>> response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36'})
>>> response.status_code
200

在此示例中使用requests module。