我可以在没有实际浏览器打开python的情况下使用Selenium和Scrapy

Question

我想用scrapy和python进行一些网络爬行。我发现很少有来自互联网的代码示例，他们使用selenium和scrapy。

我对selenium了解不多，但只知道它会自动执行某些Web任务。和浏览器实际上打开并执行操作。但我不希望实际的浏览器打开，但我想从命令行发生一切。

我可以在硒和scrapy中做到吗

Answer 1

更新：PhantomJS已被放弃，您现在可以直接使用无头浏览器，例如Firefox和Chrome！

---

改用PhantomJS。

您可以在selenium v​​2.32.0中执行browser = webdriver.PhantomJS()。

Answer 2

你可以使用PyVirtualDisplay的selenium，至少在Linux上使用。

from pyvirtualdisplay import Display
from selenium import webdriver
display = Display(visible=0, size=(1024, 768))
display.start()
browser = webdriver.Chrome()