Scrapy - 在爬网程序完成时调用新的爬网过程

时间:2016-02-24 00:59:26

标签: python scrapy web-crawler scrapy-spider scrapy-pipeline

我在两个start_urls xxx.com/LISTA和xxx / com / LISTB

中搜索urls - xxx.com/a,xxx.com/b等

此抓取工具完成后,我还希望另外抓取网页xxx.com/x_in_database和xxx.com/y_in_database--其网址已在以前的数据库抓取中抓取(因此现在可用)但仅限当前抓取工具没有找到他们已经在LISTA和LISTB

最好的方法是什么?我似乎无法从scrapy.signals.spider_closed(spider, reason)开始新的爬网,但只进行其他常规操作,如关闭连接,释放资源等

0 个答案:

没有答案