如何下载无限滚动的网页

Question

使用WebClient.DownloadString方法，将普通网页源加载到字符串相当简单。

但是，当你向下滚动到结尾时，是否有任何简单的方法来加载那些扩展并加载新内容的页面？

Answer 1

你不能下载＆＃34;这样的页面，因为它没有以完整的形式存在。此类页面需要用户交互。

您可以使用WebBrowser控件的某种形式浏览并以编程方式与网站进行交互。

Answer 2

嘿，你可以尝试这种方法，如果你想做webclient .. See这里......基本上他正在使用scrapy但是这种方法可以用于webclient我认为是这样。

基本上他正在使用firebug或chrome开发人员工具，以便在知道了web请求之后跟踪ajax web请求，你可以通过webclient获取内容。