刮擦飞溅-带有错误参数的SplashFormRequest

时间:2018-12-13 10:48:26

标签: web web-scraping scrapy scrapy-splash splash-js-render

我是新手,我只是将它实现为scrapy,并试图用它替换一个经典的scrapy请求(因为我要剪贴的页面使用了一些js)。到目前为止,我有:

        for a in res_json['data']:
            req = SplashFormRequest(
            'my_url_to_request',
            self.fill_details, #my callback
            args={'http_method': 'POST', 'body': "valeur="+str(a['id'])},
            )
            yield req

我一直在寻找一种设置标头和cookie的方法,但是我却找不到方法(即使如此,文档讨论我也不知道这样做的最佳方法?< / p>

0 个答案:

没有答案