如何使用旋转代理scrapy-splash？

Question

我只是通过使用以下作为请求来抓取js内容才成功

def start_requests(self): 
    for url in self.start_urls: 
        yield scrapy.Request(
            url, 
            self.parse, 
            meta={ 'splash': { 'endpoint': 'render.html', 'args': {'wait': 0.5} } }
        )

我如何应用excute和。{ scrapy render.html中的request个端点在抓取动态内容时使用旋转代理服务？

Answer 1

您不必同时使用execute和render.html个端点，execute更为通用。关于代理，execute端点支持proxy参数（请参阅documentation），该参数可以是代理网址，也可以是Proxy Profile名称。