如何知道HTML页面需要由JS编译器呈现？

Question

我正在尝试抓取一些网站，而我正在使用带有selenium的无头chrome浏览器来渲染一些嵌入了JS的HTLM，我还想简单地使用请求，对于不需要JS代码渲染的情况。

有没有办法知道HTML是否需要由浏览器呈现，或者简单的requests.get()是否会为我提供完整的HTML内容？

Answer 1

由标签生成的任何HTML代码都不会被请求检索。

知道页面是否需要由浏览器呈现以生成整个内容的唯一方法是检查其HTML代码是否具有标签。

不过，如果您感兴趣的信息不是由JS生成的，则request.get（）将为您提供良好的服务。