WebClient.DownloadString（）不生成精确的HTML

Question

所以这是交易。我正在为一个扫描所有产品页面并记录产品数据的网站创建一个蜘蛛机器人。我正在使用C＃和WebClient库来下载HTML字符串。我正在抓取的网站必须是专门制作的，因为从WebClient.DownloadString（）接收的HTML与我在浏览器上访问HTML时查看HTML源时获得的HTML不同。这似乎是有意的，因为我无法得到的唯一信息是价格。

是否有人知道此问题的解决方法或任何人都可以解释发生了什么？感谢。

Answer 1

可能正在使用用户代理字符串来决定要发送的内容。示例here显示了如何设置用户代理标头。