我为我的项目添加了一个下载中间件。如果我没有在sleep
中添加process_request
函数,它就可以正常工作,但是如果我添加了该函数,则不会有我的请求的回调。
class picMiddleware2(object):
def __init__(self):
pass
def process_request(self, request, spider):
if request.url != "https://www.aqistudy.cn/historydata/":
time.sleep(1) # if i delete this code, it works fine
return scrapy.http.HtmlResponse(url=request.url, body="ddddd", encoding='utf-8', request=request)
以下是我对中间件的设置配置:
DOWNLOADER_MIDDLEWARES = {
'air_history.middlewares.picMiddleware2': 545,
# 'air_history.middlewares.AreaSpiderMiddleware': 543,
}
我只想知道为什么会这样表现。