我在比较Python 3.6中的两个库时遇到了问题。我使用Selenium Firefox WebDriver登录网站,但是当我想要BeautifulSoup或Requests读取该网站时,它会读取链接,但不同(读取该页面就像我没有登录一样)。我如何告诉请求我已经登录?
以下是我到目前为止编写的代码---
{{1}}
答案 0 :(得分:3)
如果您只想将网页来源传递给BeautifulSoup
,则可以从selenium
获取网页来源,然后直接将其传递给BeautifulSoup
(无需requests
}模块)。
而不是
page = browser.current_url
r = requests.get(page)
soup = BeautifulSoup(r.content, 'lxml')
你可以做到
page = browser.page_source
soup = BeautifulSoup(page, 'html.parser')