Question

Scrapy Spider无法在pycharm终端和命令提示符中下载网页（scrapy crawl httpbin），但可以从scrapy shell（scrapy shell“ http://quotes.toscrape.com/page/1/”）下载

我只是将proxymiddleware添加到settings.py文件中，并将相应的中间件类添加到Middlewares文件中，并在环境变量中添加了https_proxy＆http_proxy。

我已将其添加到settings.py文件中。

could not find implicit value for parameter encoder: io.circe.Encoder[com.sweetsoft.SapHealth]
[error]   val create: String = build.asJson.noSpaces

将以下代码添加到中间件文件中

SPIDER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
    'PythonTraining.middlewares.CustomProxyMiddleware':100,
    'PythonTraining.middlewares.PythontrainingSpiderMiddleware': 543
}

但是我收到以下错误

twisted.python.failure.Failure OpenSSL.SSL.Error：（“ SSL例程”，“ ssl3_get_record”，“版本号错误”）

我的环境详细信息是

Scrapy：1.6.0 lxml：4.3.3.0 libxml2：2.9.5 cssselect：1.0.3 解析度：1.5.1 w3lib：1.20.0 扭曲：19.2.0 Python：2.7.15（v2.7.15：ca079a3ea3，2018年4月30日，16：30：26）[MSC v.1500 64位（AMD64）] pyOpenSSL：19.0.0（OpenSSL 1.1.1b 2019年2月26日）密码学：2.6.1 平台：Windows-10-10.0.17134

如何解决scrapy代理问题？

0 个答案: