从搜索如何使用代理与scrapy我大多发现需要我使用某种中间件的解决方案。有没有办法让spider.py文件在执行请求时处理代理本身?例如,在Python请求库中,您可以在创建请求时添加代理参数,是否有类似于使用scrapy时的类似内容?
答案 0 :(得分:2)
不使用中间件?不,这是中间件的重点!然而scrapy已内置中间件,您无需下载或启用任何内容。
您可以通过proxy
属性中的meta
键为任何单个请求设置代理:
Request('someurl', meta={'proxy': 'http://some_proxy_server:port'})