知道起始网址之一是否已完成

Question

我正在使用scrapy，我想抓取许多url，我的问题是我如何才能知道第二个起始url的scrapy更改。

start_urls = ['link1', 'link2']

因为我想在从link1切换到link2时执行一些代码。

先谢谢您，我的英语不好。

Answer 1

如果您使用class MySpider(Spider): start_urls = [link1] def parse(response): # process response # execute the code you want to be between processing of link1 and link2 yield Request(link2, self.parse) ，Scrapy将自动异步发送请求，这意味着可以早于link1调用link2的回调，因此在这些链接之间没有“切换”。

如果要按特定顺序发送这些请求，可以执行以下操作：

 override func viewWillDisappear(_ animated: Bool) {
    super.viewWillDisappear(animated)
    DispatchQueue.main.async {
        self.player?.pause()
        self.playerLayer?.removeFromSuperlayer()
    }
}