我正在尝试使用Python连接到Heathrow rewards站点。我正在尝试使用RoboBrowser
库从页面中抓取数据,但我的连接尝试会引发ReadTimeout
错误。我所做的每一个其他网址(即Waterstones,Maximiles)都运行良好。
我尝试连接requests
和urllib
库,并且两者都得到了相同的结果。
我认为这个问题与SSL验证有关,所以我关闭了它,但它没有改变任何东西。
您应该能够通过在我提到的其中一个库中连接上面的URL来为自己复制问题。
from robobrowser import RoboBrowser
browser = RoboBrowser()
browser.open('https://rewards.heathrow.com')
答案 0 :(得分:0)
正如对该问题的评论所示,这是一个SSL版本问题。解决方案是创建一个适配器类,如下所示:Choosing The SSL Version In Python Requests。
我用来解决问题的代码如下:
class SSLAdapter(HTTPAdapter):
def __init__(self, ssl_version=None, **kwargs):
self.ssl_version = ssl_version
self.poolmanager = PoolManager()
super().__init__(**kwargs)
def init_poolmanager(self, connections, maxsize, block=False):
self.poolmanager = PoolManager(num_pools=connections,
maxsize=maxsize,
block=block,
ssl_version=self.ssl_version)
然后,在创建RoboBrowser实例时:
s = Session()
s.mount('https://', SSLAdapter(_ssl.PROTOCOL_TLSv1))
self.browser = RoboBrowser(parser="lxml", session=s, user_agent=user_agent)