监控Web应用程序中的更改

Question

我想监控复杂Web应用程序中的后台更改。这是一个包含许多脚本的单页应用程序，依此类推。我需要登录才能访问我想要监控的数据。

我尝试使用webrequest，但我认为应用程序是复杂的，以这种方式。身份验证也存在问题。

我也尝试了WebBrowser组件，但是网络应用程序告诉我，这个浏览器太旧了，我应该更新。

完美的解决方案：

1. 在背景中以chrome（或其他一些现代浏览器）打开此Web应用程序

2. 将页面保存到内存

3. 使用HtmlAgilityPack

等内容提取值

虽然这种情况会发生，但我想要正常使用电脑（因此打开镀铬窗口对我来说不是一个好的解决方案）。

有没有办法实现这样的目标？

Answer 1

如果您可以应对额外的浏览器运行，请查看SeleniumHQ。通过其webdriver支持的selenium，您可以启动专用的浏览器实例，并通过使用java等高级编程语言进行编码来执行用户操作。它根本不应该干扰你的手动工作，但会占用你的“真实”浏览器相同的内存和CPU时间。

如果Web应用程序没有验证码并且不反对访问它的自动脚本，您还可以通过发送适当的HTTP请求并解析响应来登录后台程序。 python的urllib2将是我的第一选择。

如果您不想运行任何其他进程，您还可以创建一个浏览器插件，每隔几秒自动刷新并解析一个打开的选项卡。