在尝试运行＆＃39; scrapy crawl＆＃39;时收到错误

Question

在我运行“scrapy crawl word＆＃39;我收到一个错误。我正在尝试使用Scrapy来抓取fda网站。我在线关注教程。这是我的代码：

import scrapy

class WordSpider(scrapy.Spider):
    name = "word"

def start_requests(self):
    start_url = [
        'https://www.fda.gov/Safety/Recalls/'
    ]

def parse(self, response):
    page = response.url
    filename = 'www.fda-%s.html' % page
    with open(filename, 'wb') as f:
        f.write(response.body)

我已经稍微更改了代码，因为我只需要一个网址和＆＃39; www＆＃39;对于工作环节很重要。

我得到的错误是：

:0: UserWarning: You do not have a working installation of the service_identity module: 'No module named cryptography.x509'.

我尝试安装service_identity，但收到了同样的错误。不确定我的代码是不正确还是我错过了一些软件包。

Answer 1

好像你错过了TLS的一些软件包，我建议安装加密和OpenSSL软件包。

pip install cryptography

OpenSSL的：

• Mac - ＆gt; brew install openssl
• Windows - ＆gt; http://www.indyproject.org/Sockets/fpc/OpenSSLforWin64.en.aspx
• Linux - ＆gt; https://wiki.openssl.org/index.php/Compilation_and_Installation