Selenium和BeautifulSoup:在python中共享和拉取会话数据资源到多个库

时间:2018-01-17 11:41:11

标签: python selenium beautifulsoup python-requests session-cookies

我在比较Python 3.6中的两个库时遇到了问题。我使用Selenium Firefox WebDriver登录网站,但是当我想要BeautifulSoup或Requests读取该网站时,它会读取链接,但不同(读取该页面就像我没有登录一样)。我如何告诉请求我已经登录?

以下是我到目前为止编写的代码---

{{1}}

1 个答案:

答案 0 :(得分:3)

如果您只想将网页来源传递给BeautifulSoup,则可以从selenium获取网页来源,然后直接将其传递给BeautifulSoup(无需requests }模块)。

而不是

page = browser.current_url
r = requests.get(page)
soup = BeautifulSoup(r.content, 'lxml')

你可以做到

page = browser.page_source
soup = BeautifulSoup(page, 'html.parser')