Scrapy 1.6 需要修改所有请求URL。 根据这个古老的问题-link,尝试为此使用Middlwear 当我启用middlwear并运行Spider时,它只是坐在那里什么也不做。 这是我看到的最后一个日志条目。
[scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
我来自Middlewears.py的中间衣:
class UrlModifyMiddleware(object):
def process_request(self, request, spider):
request = request.replace(url='http://api.scraperapi.com/?key=***************&url={}'.format(request.url))
return request
我的settings.py:
DOWNLOADER_MIDDLEWARES = {
'appian.middlewares.UrlModifyMiddleware': 543,
}
我在做什么错了?