如何访问网站,登录,导航到页面并抓取数据

时间:2013-10-23 13:35:34

标签: php asp.net windows screen-scraping scrape

在Windows环境中,您如何建议我完成以下操作:访问网站,输入用户名和密码,从下拉菜单中选择一个选项,单击几个链接(一个是动态的,但事先已知并存储在本地文件),然后从显示的页面中删除信息并将其保存到文件中。

我试图用人的方式解决的问题是;我从我所追求的信息类型的大型聚合器中为我的一个企业购买数据。他们通过电子邮件向我发送此信息的快照,以获取完整信息并将其输入我的后台客户管理数据库我必须加载浏览器,访问聚合器站点,登录,从下拉列表中选择帐户存储信息,然后从登录页面导航到数据列表(1个静态链接),然后向下扫描页面以获取新的客户数据(动态链接),然后单击该链接,最后将屏幕上显示的数据复制并粘贴到我的后台系统。

定期购买这些数据的日志意味着需要我或一名员工很长时间才能这样做。不幸的是,聚合器没有API或其他方式与他们的网站进行交互,根据我的经验,他们提供了最优质的数据,因此我会遇到很多平凡的数据输入或者付钱给其他人做他们可能做的事情。做更有成效的任务。

我有各种机器和操作系统可用但更喜欢我可以在WinXP / 7/8中运行的解决方案。

从电子邮件中获取唯一标识符到文本文件不是问题,我可以在Outlook中编写VBA宏来执行此操作并将文本(或其他)文件中的已删除数据输入到我的后台数据库中这也是一个简单的任务,它只是与我正在努力的聚合器的交互。

慷慨地接受了所有帮助。

1 个答案:

答案 0 :(得分:0)

我建议使用免费的IRobotSoft视觉刮刀。它有一个很好的界面,您可以轻松地记录您的步骤。 http://irobotsoft.com/help/的演示将让您了解它是如何工作的。

此外,他们的在线论坛http://www.irobotsoft.org/bb/非常活跃,您可以寻求帮助。