访问使用javascript生成的文本

Question

此网站有一个自定义谷歌搜索框：

http://ezinearticles.com/

搜索结果由一段JS代码生成。如何使用wget和/或C＃的WebClient？

访问这些结果

Answer 1

该页面上的搜索似乎是正常的Google网站搜索。尝试wget使用以下网址，其中'asdf'是您的搜索

wget http://www.google.com/search?&q=site:ezinearticles.com+asdf

Answer 2

您需要使用Web浏览器执行的操作 - 呈现页面。也许你可以提取js调用web服务提供结果，只需执行这个请求并直接解析输出。

Answer 3

您需要使用支持JavaScript的可编程浏览器访问它。

• Java的HtmlUnit库可以做到这一点，而且运行得很好。
• 您可以自动化真实的网络浏览器，例如在Windows上使用WatiN，并访问该页面的内容。这需要一个GUI桌面，因为打开了一个真正的浏览器窗口。