请求SSL连接超时

Question

我正在使用python请求向www.fredmeyer.com发送http请求

我甚至无法通过此域名的初始获取请求。做一个简单的requests.get导致连接挂起，永远不会超时。我已经验证我可以访问此域，并且能够在我的本地计算机上运行该请求。任何人都可以复制

Answer 1

该网站似乎启用了一些过滤功能，以禁止机器人或类似机器人。以下HTTP请求当前与站点一起使用：

GET / HTTP/1.1
Host: www.fredmeyer.com
Connection: keep-alive
Accept: text/html
Accept-Encoding:

如果删除了Connection标头或其值更改为close，它将会挂起。如果缺少（空）Accept-Encoding标头，它也会挂起。如果缺少Accept行，则会返回403 Forbidden。

为了通过请求访问此站点，以下内容目前适用于我：

import requests
headers = { 'Accept':'text/html', 'Accept-Encoding': '', 'User-Agent': None }
resp = requests.get('https://www.fredmeyer.com', headers=headers)
print(resp.text)

请注意，网站用于检测僵尸程序的启发式方法可能会发生变化，因此将来可能会停止工作。