先进的网络抓取器

Question

我需要在python中使用网络抓取工具，但我不知道哪一个可以完成以下任务（即使可能的话）：

• 通过链接打开页面
• 登录
• 用一些字符串填充文本字段之一
• 点击搜索按钮
• 解析结果页面以获取特定信息

我已经用硒编写了脚本，但这对我来说是一个糟糕的解决方案。我需要……更稳定，并且不会为创建诸如某种数据库之类的任务创建硒。

Answer 1

您可以使用几种方法。

Selenium，来自您选择的UI库内部的Webkit（我已经使用pyQt.webkit），并带有一些javascript注入或scrapy。

它们都是完全有效的选择。