下载网页google web toolkit

Question

我工作的公司正在将其前端切换到gwt应用程序，我想知道是否可以编写一个脚本（无论是使用bash和wget还是cURL，还是java或其他任何东西），这使我能够下载实际gwt Web应用程序的内容。因为现在如果我尝试使用像wget这样的命令我只是下载一个带有一些javascript函数的页面，但没有实际的页面内容（我感兴趣的是）。我在质量保证方面，所以我想我想知道是否有可能在没有直接访问开发人员代码的情况下执行这样的任务。 谢谢！

Answer 1

GWT使用javascript构建页面（DOM）。所以你需要一些渲染初始DOM的东西，运行改变/生成元素的javascript，然后输出整个DOM。基本上你需要一个浏览器。

您最好的选择是寻找可以保存整个页面的浏览器扩展程序。

Answer 2

以下是AJAX应用程序中可抓取性的一般背景知识。

http://code.google.com/web/ajaxcrawling/docs/getting-started.html

下面是一个示例servlet的代码，它通过将页面提供给HTMLUnit来实现该可抓取性规范，从而导致呈现所有HTML，然后将结果发送回Web爬虫。

http://code.google.com/p/google-web-toolkit/source/browse/branches/crawlability/samples/showcase/src/com/google/gwt/sample/showcase/server/CrawlServlet.java?r=6211

Answer 3

我找到了一种使用名为selenium的工具的解决方案。我能够轻松点击gwt应用程序记录我在应用程序中的活动以供将来使用，并获取应用程序生成的实际html，然后我可以解析所需的内容并采取相应的行动。唯一的小缺点是，与htmlunit或httpunit不同，selenium确实需要使用浏览器。