使用Python抓取网页

时间:2013-05-05 23:40:18

标签: python selenium web-scraping beautifulsoup

我使用硒来访问我的学校成绩,之后我希望能够从网站上获取我的成绩,但我不知道如何

这是我的登录代码:

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.PhantomJS("C:\Python27\phantomjs-1.9.0-windows\phantomjs.exe") 
driver.get("https://ps.rsd.edu/public/")

elem = driver.find_element_by_name("account")
elem.send_keys("Username")
elem2 = driver.find_element_by_name("pw")
elem2.send_keys("Password")
elem.send_keys(Keys.RETURN)

driver.quit()

print "done"

我认为最简单的方法是使用Beautifulsoup,但我不确定

1 个答案:

答案 0 :(得分:2)

我会在这里回答这个,因为另一个问题是关于如何使用Beautifulsoup解析表格。

所以给出了http://gist.github.com/C-Dubb/5522909

的表格
for cell in driver.find_elements_by_css_selector(".grid tr a[href$='fg=S2']"):
    print cell.text
    # if you want the number only, you need to strip the grades here
    # also need to check if S2 cell is empty or not