这个没有刮擦请求的回调

时间:2019-05-13 03:24:27

标签: python scrapy

我为我的项目添加了一个下载中间件。如果我没有在sleep中添加process_request函数,它就可以正常工作,但是如果我添加了该函数,则不会有我的请求的回调。

class picMiddleware2(object):
    def __init__(self):
        pass
    def process_request(self, request, spider):
        if request.url != "https://www.aqistudy.cn/historydata/":
            time.sleep(1) # if i delete this code, it works fine
            return scrapy.http.HtmlResponse(url=request.url, body="ddddd", encoding='utf-8', request=request)

以下是我对中间件的设置配置:

DOWNLOADER_MIDDLEWARES = {
   'air_history.middlewares.picMiddleware2': 545,
   # 'air_history.middlewares.AreaSpiderMiddleware': 543,
}

我只想知道为什么会这样表现。

0 个答案:

没有答案