HtmlUnit:试图抓取AngularJS网页

时间:2015-07-15 19:18:41

标签: javascript java angularjs htmlunit

我试图使用HtmlUnit来抓取网站的内容。 我能够以编程方式登录到我的帐户,但客户端的大多数内容都是使用Javascript(Angular JS)生成的。所以我的问题是:

  1. 我们可以使用HTMLUnit来使用Angular JS作为脚本语言来抓取这个页面。

  2. 这是我的代码:

  3. final WebClient webClient = new WebClient(BrowserVersion.CHROME);
    WebClientOptions webClientOptions = webClient.getOptions();
    webClientOptions.setJavaScriptEnabled(true);
    final HtmlPage page1 = webClient.getPage(//url);
    final HtmlForm form2 = page2.getFormByName("login");
    final HtmlSubmitInput button = form2.getInputByValue("Sign In");
    final HtmlTextInput textField = form2.getInputByName("email");
    textField.setValueAttribute("//email");
    final HtmlPasswordInput textField2 = form2.getInputByName("login_password");
    textField2.setValueAttribute(//password); 
    final HtmlPage page3 = button.click();
    webClient.waitForBackgroundJavaScript(30000);
    

    提前感谢您的帮助。

0 个答案:

没有答案