我正在使用python在js呈现的网站上进行一些Web抓取。这是我的代码:
import selenium
url2 = 'https://www.adviserratings.com.au/find-an-adviser/'
driver = webdriver.Chrome()
driver.get(url2)
我已经做了大量研究,大多数类似的问题是由Chrome潜水员版本或Chrome版本引起的。
我很确定我的chrome驱动程序和chrome版本正确。但是它仍然显示错误消息,如下所示:
SessionNotCreatedException: Message: session not created
from disconnected: unable to connect to renderer
(Session info: chrome=70.0.3538.77)
(Driver info: chromedriver=2.43.600210
(68dcf5eebde37173d4027fa8635e332711d2874a),platform=Windows NT 10.0.14393
x86_64)
它将启动Chrome浏览器,但无法打开任何内容,几秒钟后,它将关闭并弹出错误消息
任何人都可以帮忙吗?
非常感谢!
答案 0 :(得分:0)
下面的脚本对我来说很好用。
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from bs4 import BeautifulSoup
import time
from time import sleep
browser = webdriver.Chrome("C:/Utility/chromedriver.exe")
wait = WebDriverWait(browser, 10)
url = 'https://www.nissanusa.com/dealer-locator.html'
browser.get(url)
time.sleep(10) # wait page open complete
html = browser.page_source
soup = BeautifulSoup(html, "html.parser")
data = soup.findAll('div',attrs={'class':'dealers-view'})
for div in data:
links = div.findAll('a')
for a in links:
print(a['href'])
您知道您必须放入chromedriver.exe的路径。最后,您发布的URL确实没有很多值得屏幕抓取的内容。通常人们会尝试从列表中获取列表或数据,或诸如此类的东西。