提取Wikipedia Infobox数据

时间:2014-04-25 12:34:49

标签: java eclipse wikipedia

我想从维基百科的信息框中提取数据,然后发现了Wikipedia infobox extraction in Java中的代码,该代码提出了一种使用java的方法。我使用java并不方便,因为我使用python,所以我在我的eclipse中使用wikixmlj-r43.jar代码:

import edu.jhu.nlp.wikipedia.*;
public class InfoboxParser {

    public static void main(String[] args) throws Exception{
        WikiXMLParser parser = WikiXMLParserFactory.getSAXParser("/home/siddhartha/Documents/wiki/enwiki-latest-pages-articles.xml");
        parser.setPageCallback(new PageCallbackHandler() {
            public void process(WikiPage page) {
                InfoBox infobox=page.getInfoBox();
                //do something with info box
            }
        });
        parser.parse();
    }

}

我收到以下错误:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/tools/bzip2/CBZip2InputStream
    at edu.jhu.nlp.wikipedia.WikiXMLParserFactory.getSAXParser(WikiXMLParserFactory.java:15)
    at parser.InfoboxParser.main(InfoboxParser.java:7)
Caused by: java.lang.ClassNotFoundException: org.apache.tools.bzip2.CBZip2InputStream
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    ... 2 more

我在属性>下的eclipse中添加了JAR。 java build path>库。我得到的是它无法找到CBZip2InputStream类。

请帮忙。

2 个答案:

答案 0 :(得分:1)

    Response res = Jsoup.connect("http://en.wikipedia.org/wiki/Carbon")
            .execute();

    String html = res.body();

    Document doc = Jsoup.parseBodyFragment(html);
    Element body = doc.body();
    Elements tables = body.getElementsByTag("table");// hasClass("infobox bordered");

    for (Element table : tables) {

        if (table.className().equalsIgnoreCase("infobox bordered")) {
            System.out.println(table.outerHtml());
            break;
        }

答案 1 :(得分:1)

这可能会对你有帮助。

https://code.google.com/p/wikixmlj/source/browse/trunk/tests/InfoBoxTest.java?spec=svn40&r=40

用此

替换代码(data / newton.xml)中的链接

http://en.wikipedia.org/w/api.php?action=query&prop=revisions&rvprop=content&format=xml&titles= your_title &安培; rvsection = 0