使用C#运行javascript的刮网站

时间:2017-07-06 09:15:43

标签: javascript c# asp.net selenium html-agility-pack

我正在使用HtmlAgilityPack抓取网站,但有些网站在页面加载后运行javascript。所以HtmlAgility在这一点上没有帮助。我尝试过selenium web驱动程序和NHtmlUnit以及PhantomJS。但它们对我的任务来说太慢了。

我也尝试过网络浏览器但是对于asp.net来说这很慢,对我来说不是一个好的解决方案。此外,它确实在该网站发出错误后的几天内工作:"必须启用Javascript"

那么你建议我做什么来快速抓住这些网站?

0 个答案:

没有答案