Question

我正在编写网络抓取工具，并试图在搜索框中输入搜索词。但是，当我尝试通过ID访问搜索框时，我好像变得空了。我只是在学习HtmlUnit，所以我可能会遗漏一些非常明显的东西，但是我本人还无法识别出这一点。

这是网站的代码：

<html xmlns="http://www.w3.org/1999/xhtml" xml:1ang="en" class="no-touch">
    <head>-</head>
    <body lang="en" class="garageBrand" emailcookiename="grgemailca" loyaltycookiename="grgloyaltyca">
        <div id="fb-root" class="fb_reset">-</div>
        <noscript>...</noscript>
        <script>...</script>
        <div id="container">
            <div id="avsDialog" sty1e="disp1ay: none; position: absolute; top: 0; right: 0;"></div>
            <input type="hidden" value="en" id="displayLanguage">
            <input type="hidden" value="garageSiteCA" id="currSiteId">
            <input type="hidden" value="en_CA" id="currLocale">
            <div id="contentarea">
                <div id="header" class="nonHeaderScroll">
                <div id="topnav">...</div>
                <div class="socialSearch">
                <div id="searchMenu">
                    <form action="//www.garageclothing.com/ca/search/search.jsp" method="GET">
                        <input type="hidden" name="N" value="0">
                        <input type="hidden" name="Dy" value="1">
                        <input type="hidden" name="Nty" value="1">
                        <input type="hidden" name="Ntk" value="All">
                        <input type="hidden" name="Ntx" value="mode matchall">
                        <input id="searchText" maxlength="40" type="text" name="Ntt" class="textInput" placeholder="Search..." autocomplete="off">
                        <input class="mainSearchButton" type="image" src="//images.gdicdn.com/img/magnifying-glass.png?version=375" name="search">
                    </form>
                </div>

这是我的代码：

import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.HtmlSubmitInput;
import com.gargoylesoftware.htmlunit.html.HtmlInput;

import java.io.IOException;


public class Main {

public static void main(String[] args) {

    WebClient client = new WebClient();
    client.getOptions().setJavaScriptEnabled(true);
    client.getOptions().setCssEnabled(false);
    client.getOptions().setUseInsecureSSL(true);

    try {
        HtmlPage page = client.getPage("https://www.garageclothing.com/ca");

        // Check for popup.
        if(page.getElementById("cboxClose") != null) {
            page = page.getElementById("cboxClose").click();
        }

        // Debugging line that returns null:
        System.out.println(page.getElementById("searchText"));
        // What I would like to do:
      /*HtmlInput searchInput = (HtmlInput) page.getElementById("searchText");
        searchInput.setValueAttribute("red scarf");
        HtmlSubmitInput submitBtn = page.getElementByName("search");
        page = submitBtn.click();

        System.out.println(page.asXml());*/

    } catch (IOException e) {
        e.printStackTrace();
    }
}

}

Answer 1

即使页面看起来很简单，该页面（在许多购物门户网站中都是）确实非常复杂，并且基于大量的javascript（不仅用于页面本身，而且还用于所有这些讨厌的跟踪器来观察用户）。如果您想了解更多有关此页面的信息，建议您使用像Charles这样的网络代理来捕获全部流量。

现在回到您的问题... 由于HtmlUnit的javascript支持（基于Rhino）并不完美，因此您会遇到一些javascript错误。为了不让js错误停下来，您必须配置客户端

webClient.getOptions().setThrowExceptionOnScriptError(false);

下一步是获取页面。由于所有的js东西，这也不是那么简单。看起来js东西也替换了最初通过获取url返回的页面。因此，您必须执行三个步骤

获取页面
等待一些时间让js做一些工作
从当前窗口获取当前页面

现在您可以找到搜索字段；在其中输入一些搜索内容，最后按搜索按钮。然后，您必须再次执行三个步骤来获取当前内容。

希望有帮助。...

public static void main(String[] args) throws IOException {
    String url = "https://www.garageclothing.com/ca";

    try (final WebClient webClient = new WebClient()) {
        // do not stop at js errors
        webClient.getOptions().setThrowExceptionOnScriptError(false);

        webClient.getPage(url);
        webClient.waitForBackgroundJavaScript(10000);

        HtmlPage page = (HtmlPage) webClient.getCurrentWindow().getEnclosedPage();
        HtmlInput searchInput = (HtmlInput) page.getElementById("searchText");
        searchInput.type("red scarf");

        HtmlElement submitBtn = (HtmlElement) page.getElementByName("search");
        submitBtn.click();
        webClient.waitForBackgroundJavaScript(10000);

        page = (HtmlPage) webClient.getCurrentWindow().getEnclosedPage();
        // System.out.println("------------------------------------------------");
        // System.out.println(page.asXml());

        System.out.println("------------------------------------------------");
        final DomNodeList<DomNode> divs = page.querySelectorAll(".divProdPriceSale");
        for (DomNode div : divs) {
            System.out.println(div.asText());
        }
    }
}

Answer 2

您应该检查传递给SELECT T1.CLASS_RATE,T1.BEDS, (T1.CC - T2.CC) RC FROM (SELECT defined data) WHERE T2.CC IS NOT NULL UNION SELECT T1.CLASS_RATE,T1.BEDS, T1.CC RC FROM (SELECT defined data) WHERE T2.CC IS NULL的URL是您正在使用的Web浏览器中查看的URL。

我转到了您在代码中使用的链接（https://www.garageclothing.com），获得的页面却不是您所期望的。它要求我选择一个国家（美国或加拿大），然后单击任何选项，然后带我到您期望的页面。

尝试将URL更改为“ https://www.garageclothing.com/us/”或“ https://www.garageclothing.com/ca/”

如何解决：HtmlUnit GetElementById返回Null

2 个答案: