有没有办法在不使用中间件的情况下使用scrapy代理?

时间:2017-07-04 03:30:47

标签: python proxy scrapy

从搜索如何使用代理与scrapy我大多发现需要我使用某种中间件的解决方案。有没有办法让spider.py文件在执行请求时处理代理本身?例如,在Python请求库中,您可以在创建请求时添加代理参数,是否有类似于使用scrapy时的类似内容?

1 个答案:

答案 0 :(得分:2)

不使用中间件?不,这是中间件的重点!然而scrapy已内置中间件,您无需下载或启用任何内容。 您可以通过proxy属性中的meta键为任何单个请求设置代理:

Request('someurl', meta={'proxy': 'http://some_proxy_server:port'})

结帐HttpProxyMiddleware