我在两个start_urls xxx.com/LISTA和xxx / com / LISTB
中搜索urls - xxx.com/a,xxx.com/b等此抓取工具完成后,我还希望另外抓取网页xxx.com/x_in_database和xxx.com/y_in_database--其网址已在以前的数据库抓取中抓取(因此现在可用)但仅限当前抓取工具没有找到他们已经在LISTA和LISTB
最好的方法是什么?我似乎无法从scrapy.signals.spider_closed(spider, reason)
开始新的爬网,但只进行其他常规操作,如关闭连接,释放资源等