如何在基于脚本的方法中使用scrapy代理？

Question

在使用基于脚本的方法时，我似乎无法弄清楚如何在scrapy中使用Browsermob-proxy。有没有人以前来过这个用例？任何帮助都会很棒我使用方法作为描述符here

Answer 1

在您的脚本中（我假设您正在使用Bash）定义您的代理，例如：

http_proxy = 'http://user:password@server.com:3128'

在你调用scrapy脚本之前。在scrapy中，您必须启用代理中间件。

有关详情，请参阅here和here。