使用selenium和BeautifulSoup抓取,但是page_source返回登录页面的html而不是登录页面

时间:2019-09-15 15:53:14

标签: python selenium web-scraping beautifulsoup

我正在使用我的登录ID和密码抓取https://www.kijiji.ca/。我已经使用硒登录页面了。

def connect():
 driver = webdriver.Chrome("./chromedriver")
 driver.get("https://www.kijiji.ca/m-my-ads/active/1")

 user = "sth@sth.com"
 pwd = "helloWorld"

 username_box = driver.find_element_by_id('LoginEmailOrNickname')
 username_box.send_keys(user)

 username_box = driver.find_element_by_id('login-password')
 username_box.send_keys(pwd)

 login_box = driver.find_element_by_id('SignInButton')
 login_box.click()

 return driver

到目前为止,一切正常,但是当我尝试使用page_source获取页面的HTML源代码时,它将返回登录页面的源代码,而不是登录页面的

def main():
 driver = connect()
 doc = driver.page_source
 print(doc)

它确实登录了网站,我已经检查过了。 我究竟做错了什么?请帮忙。

编辑: 我尝试检查driver.current_url,它包含一个将我重定向回登录页面的URL。

0 个答案:

没有答案