Java / JSoup明文提取和存储

时间:2012-08-21 08:39:03

标签: java html regex string jsoup

我正在尝试解决以下问题。

假设我有一个HTML文件:


</div class = nameCouldBeAnything1><br>
    <p>some text here</p><br>
</div>

<div class = nameCouldBeAnything2><br>
    <p>some more text here</p><br>
</div>

<div class = nameCouldBeAnything3><br>
    <p>even more text here</p><br>
<p>and here</p><br>
<p>and here</p><br>
<p>and here</p><br>
<p>and here</p><br>
</div>

我想要实现的是将 div 标记之间的内容存储到单独的字符串或字符串数​​组变量中。

如果有一个Jsoup解决方案,这将是很好的,如果没有,那么从p开始匹配并在/ p结束的正则表达式字符串也会很好。

需要考虑的挑战是:

1)您不能使用特定的div类名来精确定位p标签的位置,以便使用Jsoup获取明文。

2)使用来自Jsoup类型的doc.select("body p")doc.select("div p"),但是当你想将p标签存储到字符串变量中时,它们将被单独写入变量而不是 div < / strong>变量。

这是我到目前为止所做的:

htmlFile = Jsoup.parse(input, "UTF-8");
Elements body = htmlFile.select("body p");
Element bodyStart = body.first();
Element bodyEnd = body.last(); 
Element p = bodyStart;
int divCount = 0; 

while(p != bodyEnd)
{
    p = body.get(divCount);
    System.out.println(p.text());        
    divCount++;
}

这将得到每个单独的p标签但是我希望p标签保持在它们各自的div中并将每个div存储到字符串/字符串数组变量中。

3 个答案:

答案 0 :(得分:0)

您需要遍历文档body->div->p而不是body->p

Elements divs = htmlFile.select("body div");
//initialize div map here
for(Element div : divs) {
    Elements paras = div.getElementsByTag("p");
    for(Element para : paras) {
       String text = para.text();
    }
}

您可以在遍历时根据您的要求存储任何数据结构。希望这可以帮助。

答案 1 :(得分:0)

这会将包含p-tag的div-tag放入字符串列表中。

public class Main {
  public static void main(String[] args) throws IOException {
    File html = new File("src/main/resources/markup.html");
    Document doc = Jsoup.parse(html, "UTF-8");
    //all div tags wrapping a p tag
    Elements divs = doc.select("div:has(p)");
    //put the divs into a list
    List<String> list = new ArrayList<String>();
    for (Element div : divs) {
      list.add(div.toString());
      System.out.println(div + "\n");
    }
  }
}

<强> markup.html

<!DOCTYPE html>
<head>
  <meta charset="UTF-8" />
  <title>whatever</title>
</head>

<body>
  <div class=nameCouldBeAnything0>
    <p>some text here</p>
  </div>

  <div class=nameCouldBeAnything1></div>

  <div class=nameCouldBeAnything2>
    <p>some more text here</p>
  </div>

  <div class=nameCouldBeAnything3>
    <p>even more text here</p>
    <p>and here</p>
    <p>and here</p>
    <p>and here</p>
    <p>and here</p>
  </div>

  <div class=nameCouldBeAnything4>
    <span>even more text here</span>
  </div>
</body>
</html>

<强>输出

<div class="nameCouldBeAnything0"> 
  <p>some text here</p> 
</div>

<div class="nameCouldBeAnything2"> 
  <p>some more text here</p> 
</div>

<div class="nameCouldBeAnything3"> 
  <p>even more text here</p> 
  <p>and here</p> 
  <p>and here</p> 
  <p>and here</p> 
  <p>and here</p> 
</div>

答案 2 :(得分:0)

我能够解决我的困境。

这是我使用的代码,希望它可以帮助有需要的人。

感谢所有发布的人。

public static ArrayList proc(Document htmlFile)
{
    Elements body = htmlFile.select("body");
    ArrayList HTMLPlainText = new ArrayList();

    HTMLPlainText.add(htmlFile.title());

    for(Iterator<Element> it = body.iterator(); it.hasNext();)
    {
        Element pBody = it.next();
        Elements. pTag = pBody.getElementsByTag("p");parents();

            for(int pTagCount = 0; pTagCount < pTag.size(); pTagCount++)
            {
                Element p = pTag.get(pTagCount);
                String pt = p.text();

                if(pt.length() != 0)
                {
                    HTMLPainText.add(pt);
                    pTagCount++:
                }

                pTag.parents().empty();     

            }
    }
}

注意,可能存在一些语法错误,我手动输入了这个。