如何使用JSoup在wiki页面中的两个节点之间提取数据?

时间:2015-12-14 10:34:19

标签: java jsoup mediawiki-api wiktionary

Credentials key=.. secret=..
  • 我想从“set(językangielski)”获得所有意义(znaczenia: )
  • 结果应该是一对:

    Document doc = getDocumen("https://pl.wiktionary.org/wiki/set#set_.28j.C4.99zyk_angielski.29");
    Elements links = doc.select("dfn[style]"); - ??
    for (Element link : links)
    {
      link.select("a [href]");
      String linkText = link.text()
    }
    

1 个答案:

答案 0 :(得分:0)

以下是我会尝试的方法:

Document doc = getDocumen("https://pl.wiktionary.org/wiki/set#set_.28j.C4.99zyk_angielski.29");
Elements elements = doc.select("h2:has(span#en) ~ p:not(h2:has(span#en) ~ p ~ h2 ~ p) i, h2:has(span#en) ~ p:not(h2:has(span#en) ~ p ~ h2 ~ p) + dl > dd");
if (elements.isEmpty()) {
    throw new RuntimeException("No definitions found.");
}

String parent = null;
for (Element element : elements) {
    switch (element.tagName().toLowerCase()) {
    case "i":
        parent = element.text();
        break;

    case "dd":
        System.out.println(parent + " - " + element.text());
        break;

    default:
        throw new RuntimeException("Unexpected element:\n" + element.outerHtml());
    }
}

<强>输出

rzeczownik - (1.1) zestaw
rzeczownik - (1.2) mat. zbiór
rzeczownik - (1.3) elektron. odbiornik, aparat odbiorczy
rzeczownik - (1.4) film. plan zdjęciowy
rzeczownik - (1.5) sport. set
rzeczownik - (1.6) teatr. dekoracja
rzeczownik - (1.7) tendencja, kierunek
rzeczownik - (1.8) koteria
rzeczownik - (1.9) nora borsuka
rzeczownik - (1.10) masz. agregat
przymiotnik - (2.1) gotowy
przymiotnik - (2.2) stały, ustalony
przymiotnik - (2.3) nieruchomy
przymiotnik - (2.4) postanowiony
przymiotnik - (2.5) określony
czasownik - (3.1) układać, ustawiać
czasownik - (3.2) nastawiać (kość)
czasownik - (3.3) prostować
czasownik - (3.4) przygotowywać
czasownik - (3.5) powodować
czasownik - (3.6) o słońcu: zachodzić
czasownik - (3.7) ustalać

IMO,你应该尝试找到一个wiki API。虽然数据似乎在页面之间共享相同的表示,但它背后的html代码可能会有所不同。

<强>讨论

上述代码的关键是CSS查询。

h2:has(span#en) ~ p:not(h2:has(span#en) ~ p ~ h2 ~ p) i, h2:has(span#en) ~ p:not(h2:has(span#en) ~ p ~ h2 ~ p) + dl > dd

此查询选择两个p节点之间的h2个节点。为了实现这个目标,在这里如何做到:

h2:has(span#en) /* Select the h2 node having the span with id 'en' */
~ p /* Select all p nodes preceded by previous selected h2 node... */
:not(h2:has(span#en) ~ p ~ h2 ~ p) /* ... but ignore any p nodes after the previously selected p nodes */

在JSoup 1.8.3上测试

修改 OP已将JWBF(Java Wiki Bot Framework)建议为wiki API。