C＃ - 使用webcrawler为ajax页面下载网站

Question

我在c＃（使用Microsoft WebCrawler）中编写了一个简单的Web爬虫项目，用于下载特定站点的内容。

我已在DocumentCompleted的活动中注册并等待该网页的ReadyState完成。

当我使用任何浏览器导航到该页面时，该网站的工作完全正常。 当我在整个代码中尝试执行相同操作时，页面的ajax部分无法正确加载。

正如 Marcom 所建议的那样，我通过网络抓取工具和网络浏览器查看了fiddler的回复。当我的网络抓取工具导航到网页时，他在其中一个参数上收到了与网页相反的错误。

任何领导？

Answer 1

您可能需要模拟ajax下载剩余数据的请求。

使用像fiddler这样的工具来查看幕后发生的事情。