如何检查网站是否装有JavaScript？

Question

我正在使用beautifulsoup构建网络抓取器。一些网站包含javascript内容，并且未使用urllib3加载，因此我对它们使用硒。但是硒响应时间太长，我需要构建效率更高的网络抓取器，因为我需要对多个网站使用相同的通用抓取工具。因此，我在考虑是否可以通过某种方式找出网站是否仅包含js内容，然后滥用硒，否则我将使用更快的urllib

siege -g -T "multipart/form-data;boundary=WRQWE123QWE" -g 'https://my_site.com/upload POST {"api_key":"123456789"} < image.png'

Answer 1

这是使用硒的简单检查

jsSize = (len(driver.find_elements_by_xpath("/html/head/script")))

if jsSize>0:
    print("Page contains javascript")

Answer 2

脚本标签用于定义客户端脚本（JavaScript）。

该元素要么包含脚本语句，要么通过src属性指向外部脚本文件。

右键单击要抓取的网页>>转到查看页面源>>

查找名为 script 的标签，该脚本标签将指示您要抓取的网页也包含JavaScript。