Selenium Webdirver

Question

当我使用Selenium和scrapy来创建由dymanic JS开发的蜘蛛信息。我使用webdriver.PhantomJS。但是我在cmd窗口中找到了这样的调试信息

selenium.webdriver.remote.remote_connection] DEBUG：POST http://127.0.0.1:57000/wd/hub/session/26c385f0-d448-11e5-80bb-7575f0e930be/url

会有很多它们会减慢我的蜘蛛。我怎么能关掉它。我只想加快蜘蛛的速度。

Answer 1

这是selenium日志记录，日志记录本身不会减慢速度。启动和自动化真实浏览器（甚至无头）的需要是减慢网络抓取过程的速度。

如果您不想查看INFO和DEBUG消息，请将日志记录级别更改为警告：

import logging

selenium_logger = logging.getLogger('selenium.webdriver.remote.remote_connection')
selenium_logger.setLevel(logging.WARNING)

将其放入Scrapy项目的settings.py。