我无法从https://vesti-ukr.com抓取页面

时间:2019-02-18 12:28:23

标签: python web-scraping scrapy

我无法从https://vesti-ukr.com获取页面。 它说:

twisted.python.failure.Failure OpenSSL.SSL.Error: [('SSL routines', 'ssl3_read_bytes', 'sslv3 alert handshake failure')]

我尝试使用任何其他DOWNLOADER_CLIENT_TLS_METHOD之类的“ SSLv3” 但这不起作用。

scrapy shell https://vesti-ukr.com/feed/1-vse-novosti

在其他任何网站上,使用scrapy都没有问题。而且我可以使用requests(效果很好)或Windows BitsTransfer来抓取该站点,但是我想使用scrapy使其抓取,现在我想知道它为什么会发生以及将来如何修复。

1 个答案:

答案 0 :(得分:1)

可以检查您的cryptography lib版本吗?以pip freeze为例。

将版本降级为pip install cryptography==1.7.2可以帮助我调用scrapy shell https://vesti-ukr.com/feed/1-vse-novosti而不会出现ssl错误。