我正在为客户开发Web抓取工具,并且正在使用Selenium for Python。目前该脚本已部署到Amazon AWS自由层,并且遇到了一个问题,即脚本在headless mode
中时有时找不到元素,但是在未启用无头模式的情况下可以正常运行。当我在本地计算机上运行脚本时,两种方式都没有问题(无头和无头之间)。我在无头模式下经历过有时找到元素,有时找不到元素的经历。这几乎似乎是某种网络问题或脚本正在执行,但是Amazon AWS自由层具有资源限制,导致脚本无法在无头模式下正常运行。
我添加了一个硒隐式等待来进行测试,并且在遇到此问题时,由于找不到元素,脚本仍然退出。
有人经历过类似的事情吗?