寻找Python Web导航库

Question

我希望使用python脚本自动完成通过Web完成的任务。现在，我尝试过Beautiful Soup，我可以访问页面并检索数据。但是，我更感兴趣的是模仿按钮点击和代码复选框点击并导航到新页面。

图1是我想访问的初始网址。之后，我希望能够自动点击所有“立即申请”按钮。 （如果有帮助，它们共享相同的HTML类）。

点击“立即申请”按钮后，我被重定向到图2.我想这样做 模仿两个“开始”链接的点击，然后通过代码点击“提交奖学金申请”。

我只想指向正确的方向，使用适当的库和一些有用的方法调用。

请和谢谢

Answer 1

  

我想模仿点击两个“开始”链接，然后点击“提交奖学金申请表”。

这一切听起来都需要自动化浏览器并模拟真实用户交互。有一个特定的库，允许您启动真实的浏览器，点击，发送密钥到特定元素 - selenium。

  

现在，我尝试过美丽的汤

请注意，BeautifulSoup只是 HTML Parser - 它不是浏览器。

Answer 2

您正在寻找功能强大的Python库Selenium。我用它所有的时间！这里有一些示例代码可以帮助您在安装后启动它 - 当然，修改它以应用于您实际使用的HTML！

from selenium import webdriver
driver = webdriver.Firefox()
url = 'urlyouwanttogoto.com'
driver.get(url)
boxesyouwanttocheck = driver.find_elements_by_class_name('whatevertheclassnameis')
for i in boxesyouwanttocheck:
    i.click()

这将为您点击框（当然，之后，您更改它以反映实际存在的html :)）