HttpWebRequest返回与Web浏览器不同的结果

时间:2012-09-23 09:33:00

标签: c# httpwebrequest html-agility-pack

我正在尝试抓取网站并获取其网页的数据。这一切都很顺利,直到我开始获得不同于观察源(我预期的那个)的数据。我正在使用html-agility-pack但也尝试使用HttpWebRequest,以便更改它的所有标题,但没有运气。我知道这不是JavaScript技巧,因为视图源中的数据。我希望有人知道可能的解释或解决方案。

1 个答案:

答案 0 :(得分:3)

有很多因素可能会影响服务器发送给您的HTML。我建议你使用fiddler这样的工具来更仔细地检查请求头。

根据我的经验,这些问题的常见罪魁祸首是将cookie和会话信息存储为文档中的隐藏字段,并作为请求正文的一部分与每个请求一起发送。