我正在使用selenium和chrome webdriver从网站上抓取pdf。我使用以下内容,从列表中提取site
:
driver.get(site)
source = driver.page_source
...
...
driver.quit()
但是我一直收到以下错误,我的site
列表中有大约6,000个观察结果:
Traceback (most recent call last):
File "<stdin>", line 127, in <module>
File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/webdriver.py", line 323, in get self.execute(Command.GET, {'url': url})
File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/webdriver.py", line 311, in execute self.error_handler.check_response(response)
File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/errorhandler.py", line 237, in check_response raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.TimeoutException: Message: timeout
(Session info: chrome=63.0.3239.84)
(Driver info: chromedriver=2.33.506092
(733a02544d189eeb751fe0d7ddca79a0ee28cce4),platform=Linux 4.10.0-40-generic x86_64)
我尝试过较短的间隔刷新源页面(每200次搜索,但我应该缩短吗?)。
如何延长硒的120秒超时限制?
答案 0 :(得分:2)
此错误消息......
Traceback (most recent call last):
File "<stdin>", line 127, in <module>
File "/usr/local/lib/python2.7/dist-packages/selenium/webdriver/remote/webdriver.py", line 323, in get self.execute(Command.GET, {'url': url})
.
selenium.common.exceptions.TimeoutException: Message: timeout
(Session info: chrome=63.0.3239.84)
(Driver info: chromedriver=2.33.506092
(733a02544d189eeb751fe0d7ddca79a0ee28cce4),platform=Linux 4.10.0-40-generic x86_64)
...表示 webdriver 实例无法与网站建立连接 url
并且超时发生。
您的主要问题是您使用的二进制文件之间的版本兼容性,如下所示:
支持Chrome v60-62
因此, ChromeDriver v2.33 与您正在使用的 Chrome浏览器v63.0 之间存在明显的不匹配。因此, ChromeDriver 无法生成新的 Chrome浏览器流程。