标签： scrapy
有没有办法从管道中关闭scrapy抓取？我的pipline处理网址并将其添加到列表中。当列表达到指定的数量时，我想关闭爬虫。我知道raise CloseSpider()但它似乎只能在从蜘蛛中调用时才起作用。
raise CloseSpider()
答案 0 :(得分：2)
是的，有可能。您可以调用Crawler.engine.close_spider（spider_name，reason）。
有an example in the CloseSpider extension