python:sslv3在抓取站点时警报握手失败

时间:2015-09-29 21:07:39

标签: python macos ssl web-scraping sslv3

我正在使用要求刮掉Project Gutenberg 当我这样做时:

import requests
requests.get("https://www.gutenberg.org/wiki/Science_Fiction_(Bookshelf)", verify = True) 

我收到错误:

    SSLError                                  Traceback (most recent call last)
<ipython-input-33-15981c36e1d3> in <module>()
----> 1 requests.get("https://www.gutenberg.org/wiki/Science_Fiction_(Bookshelf)", verify=True)

/Library/Python/2.7/site-packages/requests/api.pyc in get(url, params, **kwargs)
     67 
     68     kwargs.setdefault('allow_redirects', True)
---> 69     return request('get', url, params=params, **kwargs)
     70 
     71 

/Library/Python/2.7/site-packages/requests/api.pyc in request(method, url, **kwargs)
     48 
     49     session = sessions.Session()
---> 50     response = session.request(method=method, url=url, **kwargs)
     51     # By explicitly closing the session, we avoid leaving sockets open which
     52     # can trigger a ResourceWarning in some cases, and look like a memory leak

/Library/Python/2.7/site-packages/requests/sessions.pyc in request(self, method, url, params, data, headers, cookies, files, auth, timeout, allow_redirects, proxies, hooks, stream, verify, cert, json)
    463         }
    464         send_kwargs.update(settings)
--> 465         resp = self.send(prep, **send_kwargs)
    466 
    467         return resp

/Library/Python/2.7/site-packages/requests/sessions.pyc in send(self, request, **kwargs)
    571 
    572         # Send the request
--> 573         r = adapter.send(request, **kwargs)
    574 
    575         # Total elapsed time of the request (approximately)

/Library/Python/2.7/site-packages/requests/adapters.pyc in send(self, request, stream, timeout, verify, cert, proxies)
    429         except (_SSLError, _HTTPError) as e:
    430             if isinstance(e, _SSLError):
--> 431                 raise SSLError(e, request=request)
    432             elif isinstance(e, ReadTimeoutError):
    433                 raise ReadTimeout(e, request=request)

SSLError: [SSL: SSLV3_ALERT_HANDSHAKE_FAILURE] sslv3 alert handshake failure (_ssl.c:590)

这是几天前的工作,我能够刮掉页面。我的代码中没有任何改变。我确实安装了Heroku和Postgres,但我不知道这是否会导致错误..我仍然可以对google.com和其他网页提出请求。我使用的是Python 2.7.10和Mac OSX 10.10.5。

如何通过此错误来刮取gutenberg页面?我真的不明白这个错误,所以任何帮助都会受到赞赏。

1 个答案:

答案 0 :(得分:1)

看起来他们最近安装了一个新的SSL证书(2015年9月21日),当他们这样做时,他们必须加强他们的安全设置,因为该站点只接受TLS 1.2连接(没有你的库试图使用的SSLv3) ,也没有TLS 1.0或TLS 1.1)。

查看他们的SSL扫描结果here

它停止工作的原因与你的代码无关,但是他们改变了他们允许的安全协议和你的系统(OpenSSL版本)的事实似乎不支持TLS 1.2。

尝试升级您计算机上的OpenSSL库,然后您应该能够再次连接到该站点(抱歉,我不知道在Mac上为Python更新OpenSSL库的具体细节)。