HtmlUnit中的ElementNotFoundException,尽管该元素存在

时间:2017-02-12 18:27:52

标签: java htmlunit

我已经制作了一个擦除网站的java服务器,但我的问题是,在一些请求(大约10个左右)后,我总是会收到此错误ElementNotFoundException,尽管该元素应该存在。基本上我的程序只是检查这个网站的每隔几分钟的信息,但几次之后它只是给了我这个例外。 这是我的抓取代码,我不知道在找到元素几次之后它有什么问题。

final WebClient webClient = new WebClient();
try (final WebClient webClient1 = new WebClient()) {
    final HtmlPage page = webClient.getPage("http://b7rabin.iscool.co.il/מערכתשעות/tabid/217/language/he-IL/Default.aspx");

    WebResponse webResponse = page.getWebResponse();
    String content = webResponse.getContentAsString();
     //   System.out.println(content);


    HtmlSelect select = (HtmlSelect) page.getElementById("dnn_ctr914_TimeTableView_ClassesList");
    HtmlOption option = select.getOptionByValue("" + userClass);

    select.setSelectedAttribute(option, true);

    //String jscmnd = "javascript:__doPostBack('dnn$ctr914$TimeTableView$btnChangesTable','')";
    String jscmnd = "__doPostBack('dnn$ctr914$TimeTableView$btnChanges','')";

    ScriptResult result = page.executeJavaScript(jscmnd);

    HtmlPage page1 = (HtmlPage) result.getNewPage();

    String content1 = page1.getWebResponse().getContentAsString();
    //System.out.println(content1);
    System.out.println("-----");
    HtmlDivision getChanges = null;
    String changes = "";

    getChanges = page1.getHtmlElementById("dnn_ctr914_TimeTableView_PlaceHolder");   
    changes = getChanges.asText();
    changes = changes.replaceAll("\n", "").replaceAll("\r", "");

    System.out.println(changes);
}

例外:

Exception in thread "Thread-0" com.gargoylesoftware.htmlunit.ElementNotFoundException: elementName=[*] attributeName=[id] attributeValue=[dnn_ctr914_TimeTableView_PlaceHolder]
at com.gargoylesoftware.htmlunit.html.HtmlPage.getHtmlElementById(HtmlPage.java:1552)
at scrapper$1.run(scrapper.java:108)

我真的很想解决它,这是我项目中唯一的瓶颈。

1 个答案:

答案 0 :(得分:1)

你需要稍等一会儿才能操纵第二页,如暗示here

因此,sleep()3秒会使它总是成功。

HtmlPage page1 = (HtmlPage) result.getNewPage();

Thread.sleep(3_000); // sleep for 3 seconds

String content1 = page1.getWebResponse().getContentAsString();

此外,您不需要实例化WebClient的两个实例。