带有“无限滚动”页面的httpwebrequest？

Question

某些网站（仅限Facebook）只会加载一定数量的网页，直到您在最后向下滚动，然后他们会加载更多数据。有没有办法，使用HTTPWebRequest，您可以检索所有（或更多）数据，而不是通常显示而不滚动到底部？

如果我这样做：

HttpWebRequest r =  (HttpWebRequest)WebRequest.Create("www.facebook.com");
HttpWebResponse resp = (HttpWebResponse)r.GetResponse();

响应只会显示您访问该网站时出现的有限数据，而不会向下滚动。

希望这是有道理的，我可能会更好地措辞。

如何从请求中获取更多数据？

Answer 1

WebRequest对您没有帮助。这些网站依赖于用户交互（如滚动）来决定获取更多数据。

您可以使用WebBrowser控件并实际与网站进行互动。这是唯一的方法，除非有明确获取数据的API。

---

考虑您要使用HttpWebRequest。该类将向Web服务器发送请求并获得响应。

您需要问的问题是，“将哪些请求发送到Web服务器以使页面使用无限滚动”？答案是，“ 没有发送强制无限滚动的请求”。事实上，您已滚动到底部，使下一页显示。