有没有办法在python中没有硒的情况下抓取JavaScript页面

Question

有没有一种方法可以使用不带硒的python beautifulsoup或lxml抓取JS渲染的网页？

感谢

Answer 1

您可以使用request_html模块作为替代，这非常简单

from bs4 import BeautifulSoup
import requests

resp = requests.get("https://stackexchange.com/sites")

html = resp.content
soup = BeautifulSoup(html)

option_tags = soup.find_all("option")

如果您想进一步了解它，只需在Google模块上