我正在使用带有chromedriver的硒无头浏览器来抓取具有javascript生成代码的网站的内容。 (因此为什么我不能使用请求)
由于要爬网的页面很大,因此代码运行了好几个小时,即使每次我使用webbrowser对象时,它也会包含在try / except / finally语句中,例如:>
browser = webdriver.Chrome(chrome_options=chrome_options, executable_path=chrome_driver)
t=eventlet.Timeout(15)
try:
browser.get(url)
soup = BeautifulSoup(browser.page_source,"lxml")
row = soup.find("div",{"id":"row0"})
except:
pass
finally:
t.cancel()
browser.quit()
当我检查top
或ps
时,有多个Chrome进程运行了几个小时。
有效实例化,使用和释放Selenium Webdriver使用的内存的最正确方法是什么?