从网站获取数据

Question

我的公司使用在线CRM软件。我需要通过CRM获取所有客户邮件地址。通常我登录CRM并点击几次，在客户名称字段中输入“*”，最后点击“搜索”按钮。这给我带来了所有客户和他们的邮件地址。如何自动执行所有步骤并获取邮件地址？我认为Javascript和DOM可以工作。但是列出了所有客户，在网站的源代码上我看不到邮件数据。还有其他想法吗？

提前致谢。

Answer 1

如果您想自动执行此任务（即数据抓取），我建议您使用PhantomJS以及CasperJS之类的内容。两者都是测试WebUI的工具 - 但谁说，这是唯一的用例。这将是强力的方式。使用Casper，您可以导航到站点并从HTML获取数据。

根据您的CRM，更好的方法是使用某种Webservice或REST-API来获取您感兴趣的数据。请查看CRM的文档/ WIKI。也许有一种更简单的方法（例如，指定网址上的$.getJSON()可以获得mailadresses），而不是手动提取信息。