Python请求等待页面加载

Question

好吧，我正在尝试几天来请求加载，因为网站需要加载一些工作人员一秒钟然后我可以达到我需要的数据， 首先我试图使用：

req = urllib.request.Request(url, headers={'User-Agent': 'Mozilla/5.0'})
html = urllib.request.urlopen(req)
time.sleep(3)
html.read() #even without this line it would give me the same resault.
soup = BeautifulSoup(html, "lxml")

并且它不起作用，我必须找到一种方法来加载后到达这些元素。 我已经尝试过Selenium，但它的速度和请求相比很慢，而且selenium总是有错误，连接是从遥控器或类似的东西关闭的，我必须找到一个解决方案来做到这一点，非常感谢你 提前谢谢！

Answer 1

该网页是否使用JavaScript？如果是这样，你可以等待世界的所有时间，你正在使用无头浏览器，你不会得到任何东西。这意味着它不会加载任何JavaScript或任何客户端代码。

你最好的选择是使用像Selenium这样的东西。它变慢了，因为它实际上正在做你打算做的工作。