Scrapy和Selenium：让scrapy等待硒？

Question

我有一只蜘蛛，我用它来抓取一个网站。我只需要javascript一件物品。所以我用scrapy刮掉部分网站，然后在selenium中打开URL。虽然URL是开放scrapy继续。如何让scrapy等待我的硒逻辑完成？

提前致谢。

Answer 1

您可以在settings.py中使用 DOWNLOAD_DELAY = 0.25 ，下载者应该在从同一网站下载连续页面之前等待。

另一种方法是使用 time.sleep（）来延迟蜘蛛从硒中获取响应。