强制Python Scrapy不对URL进行编码

Question

其中有一些[]的网址，如

http://www.website.com/CN.html?value_ids[]=33&value_ids[]=5007

但是当我尝试使用Scrapy抓取此URL时，它会向此URL发出请求

http://www.website.com/CN.html?value_ids%5B%5D=33&value_ids%5B%5D=5007

如何强制scrapy不要urlenccode我的网址？

Answer 1

创建Request对象scrapy时会应用一些url编码方法。要恢复这些，您可以使用自定义中间件并根据需要更改网址。

你可以像这样使用Downloader Middleware：

class MyCustomDownloaderMiddleware(object):

    def process_request(self, request, spider):
        request._url = request.url.replace("%5B", "[", 2)
        request._url = request.url.replace("%5D", "]", 2)

不要忘记＆＃34;激活＆＃34; settings.py中的中间件如此：

DOWNLOADER_MIDDLEWARES = {
    'so.middlewares.MyCustomDownloaderMiddleware': 900,
}

我的项目名为so，文件夹中有一个文件middlewares.py。您需要根据您的环境进行调整。