我有一只蜘蛛根据分页网页中的特定日期范围获取最新的网址。当它获得所有最新的网址时，我的蜘蛛必须关闭。
如何关闭蜘蛛？
我提到了问题：Force stop the spider
但提出异常以关闭蜘蛛并不令我满意。
还有其他方法可以实现同样的目标吗？
答案 0 :(得分：2)
您应该使用Close Spider extension。
可以通过以下设置配置关闭蜘蛛的条件：
CLOSESPIDER_TIMEOUT CLOSESPIDER_ITEMCOUNT CLOSESPIDER_PAGECOUNT CLOSESPIDER_ERRORCOUNT