快速提问,希望简单, 我正在使用HttpClient向网站发出请求并解析页面上的数据,但页面上的很多内容都是在转到页面后获取数据的模块,所以当我尝试解析数据尚未填充和/或为空。有没有办法完全等待页面及其页面上的所有页面内容完全加载后再继续?如果是这样,你可以提供一个例子。
如果有更好的方法来实现这一点,而不是使用HttpClient,我愿意改变它来完成任务,请告诉我。
提前感谢您的帮助。
环境:Visual Studio 2017,C#.Net Core
答案 0 :(得分:2)
HttpClient
只会请求您要求的特定网址。与浏览器不同,它不会解析该页面,然后按照指向CSS,脚本和图像文件等的链接,也不会执行原始页面上的任何JS。
你可以用Selenium和PhantomJS来做这件事,如下面的答案所示:https://stackoverflow.com/a/24289395/1134217