Question

我有一个程序可以更改计算机的IP地址，该程序可以正常运行。我尝试在每个服务器ip地址上抓取我的scrapy项目，并且工作正常。

但是有时在程序运行时，当程序交换ip地址时，就会出现错误：

2019-07-19 14:35:38 [scrapy_user_agents.middlewares] DEBUG: Proxy is detected https://127.0.0.1:21218
2019-07-19 14:35:38 [scrapy_user_agents.middlewares] DEBUG: Assigned User-Agent Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/5
37.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36
2019-07-19 14:35:38 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://www.ebay.com/sch/allcategories/all-categories
/?_rdc=1> (failed 175 times): [<twisted.python.failure.Failure OpenSSL.SSL.Error: [('SSL routines', 'ssl3_get_record', 'wrong vers
ion number')]>]

有时我的IP地址会更改，并且会继续，但有时会失败，并且会循环吐出此代码，重试200次。

Answer 1

原来有一个重定向将其中断，所以我添加了

meta = {'dont_redirect': True, 'handle_httpstatus_list': [301,302]}

提高产量，效果很好

Scrapy循环，直到在程序外部更改代理时失败

1 个答案: