从网站检索动态加载的数据

Question

我正在尝试使用散列链接检索动态加载到网页上的数据，例如http://www.westfield.com.au/au/retailers#page=5

我的问题是使用什么技术将数据加载到页面上？

其次，如何使用C＃检索此数据？

我到目前为止尝试使用WebClient在此链接下载页面，遗憾的是html文件只包含第一页的数据，无论我使用哪个页面链接。

Answer 1

  

使用什么技术将数据加载到页面上？

JavaScript用于从服务器加载数据，将其解析为HTML并将其放在DOM中的正确位置。

  

其次，如何使用C＃检索此数据？

向http://www.westfield.com.au/api/v1/countries/au/retail-chains/search.json?page=5发出请求，它将返回包含您所需数据的结构化JSON文档。

Answer 2

如果你需要的只是JSON结构，Jon的回答听起来像是一个很好的起点。

如果你想要一个好的堆栈来实现真正的渲染刮擦，我会使用phantomjs和Selenium的组合来帮助将它连接到.net。

This文章是一个很好的起点。