我需要构建一个Python scraper来从网站上抓取数据,其中只有在用户点击与Javascript onclick函数绑定的链接后才会显示内容,并且不会重新加载页面。为了做到这一点,我已经调查了Selenium并且玩了一下,看起来每次我实例化驱动程序时Selenium都会打开一个新的Firefox Web浏览器:
>>> driver = webdriver.Firefox()
是否需要打开这个浏览器,或者有办法摆脱它吗?我问,因为刮刀可能是网络应用程序的一部分,我担心如果有多个用户开始使用它,我将在我的服务器上打开一堆浏览器窗口。
答案 0 :(得分:0)
是的,selenium会自动化Web浏览器。 您可以在python代码的底部添加它,以确保浏览器在最后关闭:
driver.quit()