在Scrapy Middlware中更改请求URL

时间:2019-06-26 17:04:29

标签: python-3.x scrapy

Scrapy 1.6 需要修改所有请求URL。 根据这个古老的问题-link,尝试为此使用Middlwear 当我启用middlwear并运行Spider时,它只是坐在那里什么也不做。 这是我看到的最后一个日志条目。

[scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023

我来自Middlewears.py的中间衣:

class UrlModifyMiddleware(object):
    def process_request(self, request, spider):


        request = request.replace(url='http://api.scraperapi.com/?key=***************&url={}'.format(request.url))
        return request

我的settings.py:

DOWNLOADER_MIDDLEWARES = {
   'appian.middlewares.UrlModifyMiddleware': 543,
}

我在做什么错了?

0 个答案:

没有答案