如何在Scrapy Splash请求中发送自定义标头？

Question

我的spider.py文件如下：

def start_requests(self):
    for url in self.start_urls:
        yield scrapy.Request(
            url,
            self.parse,
            headers={'My-Custom-Header':'Custom-Header-Content'},
            meta={
                'splash': {
                    'args': {
                        'html': 1,
                        'wait': 5,
                    },
                }
            },
        )

我的解析定义如下：

def parse(self, response):
    print(response.request.headers)

当我运行蜘蛛时，下面的行将被打印为标题：

{
    b'Content-Type': [b'application/json'], 
    b'Accept': [b'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'],
    b'Accept-Language': [b'en'], 
    b'User-Agent': [b'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.2309.372 Safari/537.36'], 
    b'Accept-Encoding': [b'gzip,deflate']
}

如您所见，它没有我添加到Scrapy请求的自定义标头。

有人可以帮我添加此请求的自定义标头值吗？

谢谢。

Answer 1

如果您希望Splash在请求中使用标头到指定的url，则应将标头与args和html一起添加到wait部分。