使用python / javascript浏览网页？

Question

我正在开发一个需要某些网页信息的程序。目前，我只是通过下载源代码并解析它来获取信息（在Python中使用Regex）。但是，我可以使用更具体/更好的数据，但它需要登录和“用户”的一些页面导航。 （不能通过输入URL来获取包含数据的页面）

我可以编写javascript / jquery来模拟登录并点击导航到这些页面所需的内容。但是目前我只能通过选择chrome并在每个页面上拉起chrome javascript控制台来“运行”它。有没有办法纯粹用Python模拟浏览器导航，所以我可以自动完成这项任务？ （此外，页面似乎没有任何类型的验证码或反机器人安全性，o应该不是问题）

Answer 1

您可以查看一些浏览器自动化工具，例如Selenium。它主要用于网站测试，但您也可以使用它提取信息，然后在python中进行处理。

这是another thread，关于在python中使用它。