Question

我是从网站首页开始的。我正在解析整个网页，我正在收集该主页上的所有链接并将它们放入队列中。然后我从队列中删除每个链接并做同样的事情，直到我得到我想要的文本。但是，如果我收到像youtube.com/something这样的链接，那么我将转到youtube上的所有链接。我想限制这个。

我只想在同一个域内抓取。我该怎么做？

private void crawler() throws IOException {
    while (!q.isEmpty()){
        String link  = q.remove();
        System.out.println("------"+link);
        Document doc = Jsoup.connect(link).ignoreContentType(true).timeout(0).get();
        if(doc.text().contains("publicly intoxicated behavior or persistence")){
            System.out.println("************ On this page ******************");
            System.out.println(doc.text());
            return;
        }
        Elements links = doc.select("a[href]");
        for (Element link1 : links){ 
            String absUrl = link1.attr("abs:href");
            if (absUrl == null || absUrl.length() == 0) {
                continue;
            }
//          System.out.println(absUrl);
            q.add(absUrl);
        }
    }
}

Answer 1

This article显示了如何编写Web爬网程序。以下行强制所有已抓取的链接位于mit.edu域。

if(link.attr("href").contains("mit.edu"))

该行可能存在错误，因为相对URL不具有该域。我建议添加abs:可能会更好。

if(link.attr("abs:href").contains("mit.edu"))

如何使用Jsoup爬网单个网站？

1 个答案: