Question

我想从使用angularjs制作的网页中抓取信息。

我的问题是，如果我以“ --headless”模式抓取页面，则不会收到目标元素。没有“无头”，一切都会正常。有人可以解释或指出链接与“ --headless”有什么区别吗？

我红色http://allselenium.info/wait-for-elements-python-selenium-webdriver/。还有什么问题呢？

谢谢您的提示。

编辑：在无头模式下的等待条件下也无法使用

Answer 1

以下是经过研究后对我有用的解决方案，请阅读：

https://github.com/GoogleChrome/puppeteer/issues/665

https://intoli.com/blog/making-chrome-headless-undetectable/

检测到无头请求，因此必须设置隐藏无头模式的参数：

options.add_argument('--headless')
options.add_argument('--lang=de-DE')
options.add_argument('--user-agent="Mozilla/5.0 (Windows NT 4.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36"')

options.add_argument("window-size=1920x1080")

在Chrome无头模式下使用Python中的Selenium实现Scrapyng AngularJS

1 个答案: