scrapy + tor总是返回403,但我可以卷曲和浏览

时间:2015-04-23 07:39:00

标签: scrapy tor torsocks

我尝试设置scrapy + tor

我使用scrapy 0.24.6

  1. 我首先尝试使用polipo作为http代理(https://pkmishra.github.io/blog/2013/04/16/scrapy-run-using-tor-and-multiple-agents-part-2-ubuntu/)访问tor 我能够将我的网络浏览器配置为使用polipo,并且我能够使用TOR进行浏览,我可以卷曲。 我尝试HttpProxyMiddleware并使用env var或编写我自己的自定义中间件,结果相同:scrapy始终返回403

  2. 然后我尝试直接使用tor,我可以再次配置我的网络浏览器以使用socks代理,我可以使用torsocks进行卷曲,但scrapy始终返回403

  3. 任何人都知道可能出现的问题?

    看起来错误来自scrapy因为我有完全相同的标题/用户代理有和没有tor,但通过tor我总是得到403

0 个答案:

没有答案
相关问题