如何递归抓取链接JSOUP?

时间:2014-04-09 06:02:18

标签: java mysql jsoup

我正在抓取网址并将该网页上的网址链接添加到mysql表格中。无论如何,我可以进一步抓取我找到的每个链接并列出该页面中的链接,然后进一步抓取所有这些链接等...

这是我的抓取功能:

    String url = "http://jsoup.org";

    try
    {
        Statement stat = connection.createStatement();
        Document doc = Jsoup.connect(url).get();
        Elements links = doc.getElementsByTag("a");

        for (Element link : links) {
            urlID = NextURLID;
            stat.executeUpdate("INSERT INTO urls VALUES ('"+urlID+"','"+link.absUrl("href")+"','','')");
            NextURLID++;
        }
    }
    catch (IOException | SQLException e)
    {
        e.printStackTrace();
    }

由于

0 个答案:

没有答案