找不到元素异常:HTMLUnit-按ID搜索

时间:2019-03-22 14:07:26

标签: java xml web-scraping htmlunit

我正在尝试使用HTMLUnit(第一次)从特定页面提取数据。 具体来说,我目前正在尝试通过ID(搜索框)获取HTML元素。

但是我遇到了:

Exception in thread "main" com.gargoylesoftware.htmlunit.ElementNotFoundException: elementName=[*] attributeName=[id] attributeValue=[space_search_keyword]
    at com.gargoylesoftware.htmlunit.html.HtmlPage.getHtmlElementById(HtmlPage.java:1547)
    at com.gargoylesoftware.htmlunit.html.HtmlPage.getHtmlElementById(HtmlPage.java:1517)
    at Test.main(Test.java:33)

这是我的代码:

import java.util.List;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HTMLParserListener;
import com.gargoylesoftware.htmlunit.html.HtmlElement;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

public class Test {

    public static void main(String[] args) {

        HtmlPage page = null;

        WebClient client = new WebClient();
        client.setCssEnabled(false); 
        client.setJavaScriptEnabled(false);

        try {  
          String searchUrl = "https://25live.collegenet.com/umassd/#space_search[0]";
          page = client.getPage(searchUrl);
        }catch(Exception e){
          e.printStackTrace();
        }


        //System.out.println(page.asXml());
        HtmlElement searchBox = (HtmlElement)page.getHtmlElementById("space_search_keyword");

    }

}

在使用page.asXML()进行进一步检查时,似乎页面未正确加载,这就是为什么找不到该项目的原因?我不确定为什么不为HTMLUnit加载。无需登录,您可以通过在浏览器中输入页面来看到该页面。

在调试HTMLUnit问题方面的任何帮助将不胜感激。

1 个答案:

答案 0 :(得分:1)

该站点是用Angular编写的SPA(单页应用程序)。 您需要运行它的JavaScript。

不幸的是,HtmlUnit的JavaScript功能不足以运行Angular,因此您的方法行不通。

您可以尝试:

  • 对页面进行反向工程并获取SPA正在访问的基础资源
  • 尝试Selenium ChromeDriver(它实际上会打开Chrome并模拟页面上的按钮点击)