我试图通过代理进行scrapy，但没有成功。
我传递请求元代理，如：
http://zqal.xyz
http://pro6y.com
http://fermatfibonacci.info
http://newproxy.ninja
etc.
当我通过shell键入一些随机页面时，显示的页面不是我传递的页面，而是代理页面。它看起来像我去了代理页面，而不是通过代理...
可能是错误的代理链接？有什么想法吗？
我在网络浏览器中设置了像我这样的USER_AGENT，并引用了google网页。
答案 0 :(得分：0)
您可以使用自动旋转代理的scrapy库https://github.com/TeamHG-Memex/scrapy-rotating-proxies来解决此问题。如果您需要有关如何自动执行此操作的完整教程（与提取代理列表相结合），您可以在此处找到完整的教程：https://tinyendian.com/articles/how-to-scrape-the-web-and-not-get-caught