我使用selenium和scrapy来废弃网站，selenium firefox窗口暂停一段时间（我想超过一分钟）。
我不知道它何时会停止，所以我使用control + c来阻止它。
我再次废弃。这次，它运作良好 但我不知道为什么它第一次被卡在一个页面上。
因为我将硒超时设定为20秒
self.driver.implicitly_wait(20)
我认为问题出在scrapy上。
当scrapy无法捕获数据时会停止吗？多久了？ 我怎样才能设置scrapy超时让它找到下一个要捕获的数据？
答案 0 :(得分：0)
http://doc.scrapy.org/en/latest/topics/broad-crawls.html?highlight=timeout#reduce-download-timeout
检查此页面。也许你可以把RETRY_ENABLED = False并设置DOWNLOAD_TIMEOUT