如何捕获来自支持AJAX的网站的数据？

Question

前段时间我创建了一个应用程序来动态捕获导航它的asp站点的数据，解析我得到的html页面并将所选数据存储到数据库中。

现在我需要再次这样做，但这次网站是使用AJAX开发的，我不知道如何面对这个问题。欢迎任何想法。

感谢。

Answer 1

我建议用两种方法来解决你的问题：

1）如果您为一个要检索大量数据的特定站点创建一个爬虫，请手动编写这些请求（例如，使用WebRequest类）

2）如果您需要通用解决方案，请尝试使用一些GUI测试工具（Selenium，Telerik WebAii等）将浏览器运行到站点中，这样JS和AJAX将由浏览器执行。

取决于你。