来自URL

时间:2015-10-24 18:12:01

标签: java html parsing jsoup

我在Java中使用JSOUP解析像这两样的HTML: Thisthis

在第一种情况下,我得到输出。

我的连接有问题:

doc = Jsoup.connect(url).get();

有一些网址可以轻松解析,而且我已经获得了输出,但也有一些网址产生空输出,如下所示:

Title: [].

如果两个网址相同,我无法理解问题是什么。 这是我的代码:

Document doc;

try {
   doc = Jsoup.connect("http://ekonomika.sme.sk/c/8047766/s-velkymi-chybami-stavali-aj-budovu-centralnej-banky.html").get();
   String title = doc.title();
   System.out.println("title : " + title);      
} 
catch (IOException e) {
   e.printStackTrace();
}

2 个答案:

答案 0 :(得分:0)

看看第二个网址的头部是什么

Element h = doc.head();
System.out.println("head : " + h);

你会看到有一些元刷新标签和一个空标题:

<head> 

 <noscript> 
  <meta http-equiv="refresh" content="1;URL='/c/8047766/s-velkymi-chybami-stavali-aj-budovu-centralnej-banky.html?piano_d=1'"> 
 </noscript> 

 <meta http-equiv="refresh" content="10;URL='/c/8047766/s-velkymi-chybami-stavali-aj-budovu-centralnej-banky.html?piano_t=1'"> 

 <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> 

 <title></title> 

</head>

这解释了空标题。你必须遵循重定向。

答案 1 :(得分:0)

这是我的解析代码,使用此URL我没有输出。     / *      *要更改此许可证标题,请在“项目属性”中选择“许可证标题”。      *要更改此模板文件,请选择“工具”|模板      *并在编辑器中打开模板。      * /     package commentparser;

import java.io.IOException;
import static java.lang.Boolean.FALSE;
import static java.lang.Boolean.TRUE;
import java.net.URL;
import static java.sql.JDBCType.NULL;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.HashSet;
import java.util.Set;
import static javafx.beans.binding.Bindings.length;
import static jdk.nashorn.internal.objects.ArrayBufferView.length;
import static oracle.jrockit.jfr.events.Bits.length;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class CommentParser {

  public static void main(String[] args) {


    Document doc;
    try {
        doc = Jsoup.connect("http://ekonomika.sme.sk/c/8047766/s-velkymi-chybami-stavali-aj-budovu-centralnej-banky.html").followRedirects(true).get();

        String title = doc.title();       
        System.out.println("title : " + title); 
        //Link for discussions  
                if(doc.select("a[href^=/diskusie/reaction_show]").isEmpty() == FALSE){
                   Elements description = doc.select("a[href^=/diskusie/reaction_show]");
                    for (Element link : description) {
                        // get the value from href attribute
                        System.out.println("Diskusie: " + link.attr("href"));
                    }
                }
                //Author of article
                if(doc.select("span[class^=autor]").isEmpty() == FALSE){
                   Elements description = doc.select("span[class^=autor]");
                    for (Element link : description) {
                        // get the value from href attribute
                        //System.out.println("\nlink : " + link.attr("b"));
                        System.out.println(link.text());
                    }
                }
        // get all links
        Elements links = doc.select("a[href]");
        for (Element link : links) {

            // get the value from href attribute
            System.out.println("\nlink : " + link.attr("href"));
            System.out.println("text : " + link.text());

        }
    } catch (IOException e) {
        e.printStackTrace();
    }
  }
}