我写了一个中间件(下载),直接运行到管道后,没有进入蜘蛛,这是为什么?

时间:2018-01-29 14:15:25

标签: python-3.x scrapy

我已经在setting.py文件中设置了downloadmiddleware

class JsScrollMiddleware(object):
    @classmethod
    def process_request(cls, request, spider):
        if spider.job_cfg.scroll:
            scroll_to_the_end_get_data(spider)
            html=spider.driver.page_source
            spider.job_cfg.scroll=False
            return HtmlResponse(url=spider.driver.current_url, encoding='utf-8', body=html, request=request)

0 个答案:

没有答案