刮动态内容

Question

我正在开展网络抓取项目。任何机构都有抓取动态内容的想法。

基于查询字符串的动态内容类似于静态内容，但基于同一页面内控件的某些事件的动态内容是我被卡住的点。因为在这种情况下页面网址保持不变。

我正在使用C＃。

提前致谢

Answer 1

你的问题很普遍。

我不确定您对控件事件的意思，但只要浏览器生成http请求，您就可以使用Firefox Firebug等工具或Google Chrome内置的工具来查看它，看看是什么实际上被发送到服务器。所谓的AJAX请求只不过是标准的http请求，只是网页不会作为一个整体重新加载。

根据该信息和页面源，可以弄清楚如何创建一系列可以模拟用户与页面上动态元素交互的请求。