我想在Scrapy中使用代理中间件，但不是每个请求都需要代理。我不想滥用代理使用并使代理容易被禁止。
当代理中间件打开时，有没有办法在某些请求中禁用代理？
答案 0 :(得分：0)
它在docs中。
您可以将每个请求的元键proxy设置为http://some_proxy_server:port之类的值。
答案 1 :(得分：0)
我们可以添加dont_proxy元，并根据请求将其设置为true
yield scrapy.Request(
url,
meta={"dont_proxy": True},
callback=self.parse
)