我需要抓取一些位于登录页面后面的数据。为了能够废弃它,我需要一个能够登录然后抓取它背后的页面的工具。是否可以在import.io后面执行此操作?
答案 0 :(得分:5)
简短版:是的,是。
更长的版本: 至少有两种方法,都要求您注册并下载桌面应用程序(全部免费)
Extractor版本(更简单): 将浏览器指向登录页面。正常登录,然后训练您的API以提取您需要的数据。使用此方法的缺点是只有在您登录时它才会起作用。如果您想要import.io为您登录,您将需要...
经过身份验证的版本: 如上所述,但创建一个经过身份验证的API。这将记录登录过程并在每次执行API时为您执行
答案 1 :(得分:2)
由于所选答案不再适用:(我推荐Cloudscrape。如果您注册,您将获得20小时抓取和/或抓取的免费试用。对于登录后的数据,您将需要一个刮刀。