如何在.net中动态更新网页的查看源

时间:2014-03-07 10:30:48

标签: c# html webclient downloadstring

有一个名为" www.localbanya.com"的网站,我想从该网站获取HTML信息,他们列出产品,其显示结构是:

  1. 首先,他们在页面加载时显示大约8-10个产品,
  2. 稍后当用户向下滚动时会生成更多产品。

现在基于javascript发生这种情况,我无法使用WebClient获取整个页面源。

我想知道有什么方法可以更新页面源,同时在.net中使用WebClient类来检索整个页面信息或我可以用来获取整页HTML信息的任何其他替代方法。

您可以参考此参考localbanya product page

任何帮助都将受到赞赏。

1 个答案:

答案 0 :(得分:0)

WebClient显然不会运行javascript。

所以你需要某种无头浏览器才能做到这一点。

它有很多选项,但我不知道任何C#或.NET实现..

您可以查看Phantom JS和其他无头浏览器,它们会复制普通浏览器的功能,您可以为其编写脚本。

另请参阅此问题 Headless browser for C# (.NET)?

您还可以运行类似Fiddler的内容,以查看向下滚动时从页面发出的请求,反向设计检索数据的方式,并尽可能使用WebClient进行复制。 / p>

希望这有助于。