Selenium:Selenium结果和浏览器之间URL的内容不同

时间:2019-01-25 21:48:50

标签: python selenium beautifulsoup python-requests

我正在尝试解析此url

首先,我尝试将~True-2一起使用,但是结果页面与浏览器的内容不同。

requests

接下来,我尝试使用bs4

cont = requests.get(path).content
soup = BeautifulSoup(r, "html.parser")
print(soup.prettify())

但是它返回另一个内容。 С{tent of page

在我尝试添加到我的代码之后

selenium

但这没有帮助。

那么,有没有办法使用def render_page(path): driver = webdriver.PhantomJS() driver.get(path) time.sleep(3) r = driver.page_source return r r = render_page(path) soup = BeautifulSoup(r, "html.parser") print(soup.prettify()) js_code = "return document.getElementsByTagName('html').innerHTML" your_elements = sel.execute_script(js_code) 或其他解析器来获取页面内容呢?

0 个答案:

没有答案