如何在Scrapy中使用ssl客户端证书(p12)?

时间:2017-05-02 13:30:57

标签: python scrapy client-certificates pkcs#12

我需要使用 p12 (PKCS12)格式的客户端证书文件与scrapy的网络服务器交谈,有没有办法做到这一点?

1 个答案:

答案 0 :(得分:8)

我不能在这里为您提供经过测试和完整的解决方案,但我知道一些地方可能会给您一些调整。

起点是scrapy的ContextFactory对象,它定义了SSL / TLS配置。标准实现ScrapyClientContextFactory不使用客户端证书,也不进行任何服务器证书验证,它只接受任何证书。 (More details

在查看source code时,您会看到替代BrowserLikeContextFactory正在创建optionsForClientTLS对象。

此对象还可以使用clientCertificate参数对服务器进行身份验证。 (Details

所以从理论上讲,你需要继承BrowserLikeContextFactory,在那里写下你自己的creatorForNetloc方法并创建optionsForClientTLS,它也有clientCertificate

一个要点:

@implementer(IPolicyForHTTPS)
class ClientCertContextFactory(BrowserLikeContextFactory):

    def creatorForNetloc(self, hostname, port):
        with open('yourcert.pem') as keyAndCert:
            myClientCert = twisted.internet.ssl.PrivateCertificate.load(keyAndCert.read())
        return optionsForClientTLS(hostname.decode("ascii"),
                                   trustRoot=platformTrust(),
                                   clientCertificate=myClientCert,
                                   extraCertificateOptions={
                                        'method': self._ssl_method,
                                   })

settings.py中激活上下文工厂:

DOWNLOADER_CLIENTCONTEXTFACTORY = 'your.package.ClientCertContextFactory'

根据文档twisted.internet.ssl.PrivateCertificate只能加载pem或asn.1格式键,意味着您必须将密钥转换为pem格式:

openssl pkcs12 -in client_ssl.pfx -out client_ssl.pem -clcerts

(借鉴Converting pfx to pem using openssl

更新以p12格式转换PKCS12文件:

openssl pkcs12 -in client_cert.p12 -out client_cert.pem -clcerts