如何让Scrapy在部署到Scapinghub后访问Tor

Question

我已经将蜘蛛配置为使用设置Privoxy来访问Tor，但这只适用于我在localhost中使用，因为我配置的设置指向127.0.0.1：port。但是，当我部署到Scapinghub时，服务器端不像我那样设置tor和privoxy。是否可以使用任何解决方案让蜘蛛通过我的网络和端口通过我的机器？

据我所知，如果在同一网络上，我们可以使用内部IP。我可以将公共IP替换为127.0.0.1，但我不知道网络如何转发到哪台机器。

以下是访问tor的配置：

middlewares.py

DOWNLOADER_MIDDLEWARES = {
    'tutorial.middlewares.ProxyMiddleware': 1
}

setting.py

{{1}}

Answer 1

您可以部署自定义泊坞窗图像并在其上设置tor。 然后指向127.0.0.1。 https://shub.readthedocs.io/en/stable/deploy-custom-image.html#deploy-custom-image