我尝试设置scrapy
+ tor
我使用scrapy 0.24.6
我首先尝试使用polipo
作为http代理(https://pkmishra.github.io/blog/2013/04/16/scrapy-run-using-tor-and-multiple-agents-part-2-ubuntu/)访问tor
我能够将我的网络浏览器配置为使用polipo,并且我能够使用TOR进行浏览,我可以卷曲。
我尝试HttpProxyMiddleware
并使用env var或编写我自己的自定义中间件,结果相同:scrapy
始终返回403
然后我尝试直接使用tor
,我可以再次配置我的网络浏览器以使用socks代理,我可以使用torsocks
进行卷曲,但scrapy
始终返回403
任何人都知道可能出现的问题?
看起来错误来自scrapy
因为我有完全相同的标题/用户代理有和没有tor,但通过tor我总是得到403