用硒重复请求scrapy?

时间:2017-12-29 10:24:42

标签: python selenium scrapy

当scrapy与selenium webdriver一起使用时,我只是混淆了两次请求单页的逻辑。在大多数情况下,我在parse函数中看到以下代码,例如

def parse(self, response):
    self.selenium.get(response.url)
    # do some other stuff
    self.selenium.close()

所以我的问题是,当parse函数获得响应时,scrapy已经发出了http请求页面?在函数体中我们使用selenium驱动程序进行相同的请求?如果我的假设是真的 我们怎么能避免这种情况?如果没有通过响应的话?

一些示例12

0 个答案:

没有答案