我最近完成了我的Selenium Python刮刀。当我在我的个人计算机上运行它时它完全正常,但是当我在服务器上运行它时结果不一样。在服务器上,我使用pyvirtualdisplay
browser.get('https://example.com')
html = browser.page_source
这是我的pyvirtualdisplay代码。
display = Display(visible=0, size=(800, 600))
display.start()
在本地计算机上运行时,它完全抓取了JavaScript生成的HTML,但是当我在我的服务器上运行它时,它不会抓取JavaScript生成的HTML内容,所以我最终只得到一个部分页面没有JS生成的内容。
更新 我还根据使用Selenium的建议截取了屏幕截图。屏幕截图显示页面已部分加载,JS的内容未加载到屏幕上。