Question

我正在使用scrapy和selenium webdrivers进行网络抓取。但我发现selenium webdriver非常慢，但我发现提取webelement的CSS属性更容易，例如。

webElement.value_of_css_property('font-size')

如何仅使用scrapy并且不使用硒webdriver来实现这一目标。

Answer 1

为此，您必须在真实浏览器中呈现内容。 Scrapy下载程序不是浏览器，只有初始HTML页面，没有内置的javascript引擎，也无法下载其他CSS或JS文件。

使用Scrapy，您只能获取元素的style属性值，但仅限于此。 selenium是工作的工具。

请注意，您可以避免将真实显示作为依赖关系，并在phantomjs中自动virtual display无头浏览器或其他浏览器。