Question

我正在尝试使用JSOUP渲染URL以读取一些参数，但发现它没有呈现完整的HTML。

以下是我的代码

Document doc=Jsoup.connect("http://www.svbcgold.com/").get();
System.out.println("HTML.."+doc.html());

在此仅显示部分值但不是全部。在这个页面中，我们有一些像GOLD，SILVER这样的值，但是我无法在输出中看到它们，它只显示输出到表格。

请你帮助我。

Answer 1

我认为Jsoup没有解析你的整个文档。这就是为什么你无法获得所有内容或某人丢失的原因。试试这个：

Document doc = Jsoup.connect("http://www.svbcgold.com/").header("Accept-Encoding", "gzip, deflate").userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0").maxBodySize(0).timeout(0).get();
System.out.println("HTML.."+doc.html());

希望你的问题能解决。

Answer 2

在您的开发工具打开的情况下在Chrome中打开此网站。您将看到它在已经呈现页面之后发出异步请求以加载其他数据。

Jsoup只解析初始响应。它不适合JavaScript驱动的网站。你需要使用像PhantomJS这样的htmlunit。

Answer 3

使用XMLHttpRequest网站通过JavaScript请求当前价格。

在控制台中调用以下JavaScript代码（Chrome开发人员工具）会复制后台请求：

var xhr = new XMLHttpRequest();
xhr.open('post', 'http://www.svbcgold.com/LPriceSvbc.asmx/getSVBCPriceN', true);
xhr.setRequestHeader('Content-Type', "application/json");
xhr.send();

然后

xhr.response拥有一个JSON对象，其中包含所有需要的信息：

"{"d":"[{\"BranchId\":9999,\"BranchDisplayName\":\"INTERNATIONAL\",\"BrPurityProductId\":9997,\"ProductDisplayName\":\"Gold\",\"PurityDisplayName\":\" \",\"ProductType\":\"U\",\"IsProductWeight\":0,\"LPrice\":\"1323.10\",\"TxtColor\":\"Black\"},{\"BranchId\":9999,\"BranchDisplayName\":\"INTERNATIONAL\",\"BrPurityProductId\":9998,\"ProductDisplayName\":\"Silver\",\"PurityDisplayName\":\"\",\"ProductType\":\"U\",\"IsProductWeight\":0,\"LPrice\":\"19.16\",\"TxtColor\":\"Black\"},{\"BranchId\":9999,\"BranchDisplayName\":\"INTERNATIONAL\",\"BrPurityProductId\":9999,\"ProductDisplayName\":\"USD/INR\",\"PurityDisplayName\":\" \",\"ProductType\":\"U\",\"IsProductWeight\":0,\"LPrice\":\"66.41\",\"TxtColor\":\"Black\"},{\"BranchId\":1,\"BranchDisplayName\":\"VISAKHAPATNAM\",\"BrPurityProductId\":1,\"ProductDisplayName\":\"Spot Gold 100g\",\"PurityDisplayName\":\"999\",\"ProductType\":\"G\",\"IsProductWeight\":0,\"LPrice\":\"315040\",\"TxtColor\":\"Black\"},{\"BranchId\":2,\"BranchDisplayName\":\"VIJAYAWADA\",\"BrPurityProductId\":2,\"ProductDisplayName\":\"Spot Gold 100g\",\"PurityDisplayName\":\"999\",\"ProductType\":\"G\",\"IsProductWeight\":0,\"LPrice\":\"315040\",\"TxtColor\":\"Black\"},{\"BranchId\":3,\"BranchDisplayName\":\"HYDERABAD\",\"BrPurityProductId\":3,\"ProductDisplayName\":\"Spot Gold 100g\",\"PurityDisplayName\":\"999\",\"ProductType\":\"G\",\"IsProductWeight\":0,\"LPrice\":\"315040\",\"TxtColor\":\"Black\"},{\"BranchId\":1,\"BranchDisplayName\":\"VISAKHAPATNAM\",\"BrPurityProductId\":1,\"ProductDisplayName\":\"Spot Silver 1kg\",\"PurityDisplayName\":\"999\",\"ProductType\":\"S\",\"IsProductWeight\":0,\"LPrice\":\"N/A\",\"TxtColor\":\"Red\"},{\"BranchId\":2,\"BranchDisplayName\":\"VIJAYAWADA\",\"BrPurityProductId\":2,\"ProductDisplayName\":\"Spot Silver 1kg\",\"PurityDisplayName\":\"999\",\"ProductType\":\"S\",\"IsProductWeight\":0,\"LPrice\":\"N/A\",\"TxtColor\":\"Red\"},{\"BranchId\":3,\"BranchDisplayName\":\"HYDERABAD\",\"BrPurityProductId\":3,\"ProductDisplayName\":\"Spot Silver 1kg\",\"PurityDisplayName\":\"999\",\"ProductType\":\"S\",\"IsProductWeight\":0,\"LPrice\":\"N/A\",\"TxtColor\":\"Red\"}]"}"

在Java中，我们可以使用java.net.HttpURLConnection作为请求，使用JSON.simple等JSON解析器来解析响应。

示例Java代码

try {
    String url = "http://www.svbcgold.com/LPriceSvbc.asmx/getSVBCPriceN";
    HttpURLConnection con = (HttpURLConnection) new URL(url).openConnection();

    con.setRequestMethod("POST");
    con.setRequestProperty("Content-Type", "application/json;charset=utf-8");
    con.setDoOutput(true);

    con.connect();
    OutputStream os = new BufferedOutputStream(con.getOutputStream());
    os.flush();

    BufferedReader in = new BufferedReader(new InputStreamReader(con.getInputStream()));
    String response = in.readLine();
    in.close();

    // parse the response
    JSONObject jsonObject = (JSONObject) new JSONParser().parse(response);
    JSONArray jsonArray = (JSONArray) new JSONParser().parse((String)jsonObject.get("d"));

    for (Object object : jsonArray) {
        jsonObject = (JSONObject)object;
        System.out.println(jsonObject.get("BranchDisplayName") + "\n\t" + jsonObject.get("ProductDisplayName") + " " + jsonObject.get("PurityDisplayName") + " " + jsonObject.get("LPrice"));
    }

} catch (IOException | ParseException e) {
    e.printStackTrace();
}

<强>输出

INTERNATIONAL
    Gold   1323.10
INTERNATIONAL
    Silver  19.16
INTERNATIONAL
    USD/INR   66.41
VISAKHAPATNAM
    Spot Gold 100g 999 315040
VIJAYAWADA
    Spot Gold 100g 999 315040
HYDERABAD
    Spot Gold 100g 999 315040
VISAKHAPATNAM
    Spot Silver 1kg 999 N/A
VIJAYAWADA
    Spot Silver 1kg 999 N/A
HYDERABAD
    Spot Silver 1kg 999 N/A

JSOUP没有渲染完整的HTML

3 个答案: