我正在尝试从我大学的成绩单页面(exam.msrit.edu)编译课程结果。
我班级的USN来自1MS16CS001-100
我有没有办法编写一个刮刀程序,在USN框中输入不同的值并收集数据?
我很狡猾,但对Python和java有足够的曝光度
非常感谢任何建议:)
答案 0 :(得分:0)
不一定是刮,但您可以使用Selenium Web Driver浏览页面并为您输入所有内容。可以找到Selenium Web Driver here。
基本上,一旦安装它,你只需要实例化驱动程序,然后循环输入它们的值列表。
from selenium import webdriver
# V sets up browser. If you want to use chrome addtional setup required
browser = webdriver.Firefox()
for i in len(100): #loops to arbitrary amount
browser.get("http://exam.msrit.edu/") #HTTP GET Request to page
elem = browser.find_element_by_id('id') #This is an html id. Could also use name, xpath, etc.
elem.send_keys("your string {}".format(i)) #sends up keys
elem. browser.find_element_by_id('id) #id for search button
elem.click() #clicks that element
关于硒的文件非常好。 http://selenium-python.readthedocs.io/navigating.html
这将打开一个实际的浏览器,并且需要一些时间来加载,所以它不会是最快的方式,但它会工作。你甚至可以截取屏幕截图。