标签： scrapy
我有一只蜘蛛正在爬行，我希望它现在停止收集链接，只是抓取它收集的所有内容，有没有办法做到这一点？到目前为止我找不到任何东西。
答案 0 :(得分：2)
scrapy提供了不同的方法来阻止蜘蛛（除了调用ctrl+c），你可以在CloseSpider extension上找到
ctrl+c
您可以将其放在settings.py文件中，例如：
settings.py
CLOSESPIDER_TIMEOUT = 20 # to stop crawling when reaching 20 seconds