我试图使用HtmlUnit来抓取网站的内容。 我能够以编程方式登录到我的帐户,但客户端的大多数内容都是使用Javascript(Angular JS)生成的。所以我的问题是:
我们可以使用HTMLUnit来使用Angular JS作为脚本语言来抓取这个页面。
这是我的代码:
final WebClient webClient = new WebClient(BrowserVersion.CHROME);
WebClientOptions webClientOptions = webClient.getOptions();
webClientOptions.setJavaScriptEnabled(true);
final HtmlPage page1 = webClient.getPage(//url);
final HtmlForm form2 = page2.getFormByName("login");
final HtmlSubmitInput button = form2.getInputByValue("Sign In");
final HtmlTextInput textField = form2.getInputByName("email");
textField.setValueAttribute("//email");
final HtmlPasswordInput textField2 = form2.getInputByName("login_password");
textField2.setValueAttribute(//password);
final HtmlPage page3 = button.click();
webClient.waitForBackgroundJavaScript(30000);
提前感谢您的帮助。