网页搜索基于JavaScript的网站

Question

有很多工具可以用javascript关闭HTML页面，但有没有任何可以用javascript打开，包括按下javascript回调按钮？

我目前正在尝试通过javascript调用搜索一个通过浏览的网站。导致内容的所有按钮都在没有href的情况下执行javascript。我可以对javascript调用进行反向工程（这样做，部分返回HTML）但这需要一些时间，是否有任何捷径？

Answer 1

我使用htmlunit，通常包含在像JRuby这样的基于Java的脚本语言中。 HtmlUnit很棒，因为它的JavaScript引擎处理所有动态功能，包括幕后的AJAX。使它很容易刮伤。

Answer 2

您是否尝试过使用scRubyIt？我不是百分百肯定，但我认为我用它来刮掉somo动态网站。

它有一些有用的方法，如

click_link_and_wait 'Get results', 5

Answer 3

Win32::IE::Mechanize

Answer 4

如果您使用的是Java（并希望自动化Internet Explorer），则可以使用Watij。或者，您可以使用Webdriver并自动化Firefox。 Webdriver也有Python API。

Answer 5

在一天结束时，那些不使用Flash或其他嵌入式插件的网站将需要从浏览器向服务器发出HTTP请求。大多数（如果不是全部）请求将在其URI中具有模式。使用Firebug / LiveHTTPHeaders捕获所有请求，这反过来将让您看到返回的数据。从那里，您可以构建获取所需数据的方法。

当然，他们并没有使用一些蹩脚的混淆/加密方式来减慢你的速度。