Web自动化可以在Python中完成吗？

Question

我是一名新生程序员，仍在编写我的Alt + Tab上的书。我想创建的第一个项目之一是帮助我的妈妈完成她的工作。我需要知道我是否可以使用Python来创建它。

需要：

1. 上线并使用帐户/通行证登录。

2. 使用特定条件进行搜索（使用网站的搜索引擎）

3. 查看所有结果，只选择最新的结果。

4. 将它们排序。

5. 通知我，以便在网站上发布最新添加的内容。

从我看到的网站上说：.cgi到底。

我知道python可以连接，从页面下载文本并对想要的信息进行排序，但是它可以登录，使用搜索引擎并选择我需要的选项吗？

我不想跳过我的学习过程，但我对这个项目非常认真，我已准备好暂停Python，并开始学习一些可以做到的语言！

我将非常感谢您的指导！ 谢谢你的时间！

AJ

Answer 1

我认为你应该看看Mechanize项目。它是Python中的有状态浏览器，因此您可以轻松地提交该性质的表单和事物并维护会话。然后，您需要使用lxml.html或BeautifulSoup来检查文档（尽管Mechanize本身包含一些用于检查文档的工具）。

Answer 2

要添加许多评论的精彩软件包列表，您也可以使用Selenium。

Answer 3

是的，它可以。具体来说，您需要使用mechanize之类的东西来处理网络驱动部分。

Answer 4

Python与任何其他语言一样能够执行此操作，但是您需要查看httplib之类的内容并了解Cookie和http请求。是的，它可以。

这将成为你最好的朋友：http://docs.python.org/

Answer 5

如果我理解得很好，您的程序的想法是进行自动浏览会话。 是的，这是可能的。它在网站编程方面并不重要（cgi，php等）。您所需要的只是通过post / get（如真实浏览器）发送数据并处理返回（regexp等）。

祝你好运

Answer 6

我想指出，根据您所在的站点，可能有一种更有效的方式（可能是暴露的Web服务），而不是从页面中抓取数据并使用mechanize / selenium来执行您想要的操作。如果你在网上，浏览器驱动工具就是锤子，他们会在木头上拿到螺丝，但有时候另一种工具会更好用。

Answer 7

使用irobotsoft可视化工具可以很有趣地完成这项工作。在此处查看快速演示：http://www.irobotsoft.com/help/，然后在论坛中提问。