我正在尝试解析此url
首先,我尝试将~True
与-2
一起使用,但是结果页面与浏览器的内容不同。
requests
接下来,我尝试使用bs4
:
cont = requests.get(path).content
soup = BeautifulSoup(r, "html.parser")
print(soup.prettify())
但是它返回另一个内容。 С{tent of page
在我尝试添加到我的代码之后
selenium
但这没有帮助。
那么,有没有办法使用def render_page(path):
driver = webdriver.PhantomJS()
driver.get(path)
time.sleep(3)
r = driver.page_source
return r
r = render_page(path)
soup = BeautifulSoup(r, "html.parser")
print(soup.prettify())
或js_code = "return document.getElementsByTagName('html').innerHTML"
your_elements = sel.execute_script(js_code)
或其他解析器来获取页面内容呢?