如何使用import.io在登录页面后面提取数据

时间:2015-04-27 13:22:16

标签: import.io

我需要抓取一些位于登录页面后面的数据。为了能够废弃它,我需要一个能够登录然后抓取它背后的页面的工具。是否可以在import.io后面执行此操作?

2 个答案:

答案 0 :(得分:5)

简短版:是的,是。

更长的版本:  至少有两种方法,都要求您注册并下载桌面应用程序(全部免费)

Extractor版本(更简单): 将浏览器指向登录页面。正常登录,然后训练您的API以提取您需要的数据。使用此方法的缺点是只有在您登录时它才会起作用。如果您想要import.io为您登录,您将需要...

经过身份验证的版本: 如上所述,但创建一个经过身份验证的API。这将记录登录过程并在每次执行API时为您执行

答案 1 :(得分:2)

由于所选答案不再适用:(我推荐Cloudscrape。如果您注册,您将获得20小时抓取和/或抓取的免费试用。对于登录后的数据,您将需要一个刮刀。

方便的教程

Tutorial for logging in with scraper.

Tutorial for pagination.