通过屏幕抓取开发非官方的混合移动应用程序

Question

我一直在考虑开发一个基于Ionic和AngularJS的混合移动应用程序，用于一个两个月内都没有提供API的网站。  首先，我尝试开发like this。 然后，我意识到我无法处理用户交互，例如日志记录，AJAX请求和导航。所以，我使用 Selenium Web Driver （Chrome for development，无头浏览器不会产生太大影响）和 HAP 。但是，我必须为每个用户的日志记录创建Web浏览器的实例或选项卡，并保持Web浏览器的实例存在以进行进一步的交互。由于这种方法需要服务器中的大量内存，我不得不改变我的计划。在这段时间里，我在Python中遇到了 Scrapy 。但是，这个工具也不适合我的需要。我还搜索了许多免费工具。但是，我现在没有解决方案。

[暂停编辑]：如何处理Web服务器中任何交互（日志记录，导航）的许多请求？ （显然，不是使用 Web驱动程序）

Answer 1

对于纯粹的JS体验，您可以使用CheerioJS和RequestJS的组合。

如果您对Python有任何经验，我会建议beautiful soup通过api阅读一下，您应该在路上。