当scrapy与selenium webdriver一起使用时,我只是混淆了两次请求单页的逻辑。在大多数情况下,我在parse
函数中看到以下代码,例如
def parse(self, response):
self.selenium.get(response.url)
# do some other stuff
self.selenium.close()
所以我的问题是,当parse
函数获得响应时,scrapy已经发出了http请求页面?在函数体中我们使用selenium驱动程序进行相同的请求?如果我的假设是真的
我们怎么能避免这种情况?如果没有通过响应的话?