Question

我想使用jsoup抓取存储在计算机上的网页。问题是我在网站的第一页找到了所有链接。

示例：Jsoup.parse(C:/Users/MuhammadNaeem/Downloads/Compressed/IRWS_Main_Assignment/literature.offline/authors/carroll-lewis/index.html,"UTF-8");

for(Element x: doc.getElementsByTag("a")){
                System.out.println("OUTLINK -> "+x.attr("href"));
        }

第一个问题我只需要离线存储的链接。

但我遇到的问题是离线链接的href是不完整的，我不能继续爬行。这是我得到的一个。

alices-adventures-in-wonderland/index.html

有什么方法可以自动指导和解析这些离线链接。我不知道我很困惑。

因为要通过Jsoup进行解析，我需要一个用于离线页面的文件。和我从第一页获得的路径或不完整的路径进一步爬行。

我的WebCrawler类代码如下。

import java.io.File;
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;


public class MyCrawler {
    String s;

    public static Document doc =null;
    public static File input=null;
    static String u="C:/Users/MuhammadNaeem/Downloads/Compressed/IRWS_Main_Assignment/literature.offline/authors/carroll-lewis/";

    public static void main(String[] args) throws IOException {
        check(u,true);  
        }

    public static void check(String url,boolean c){
        try {
            if(c==true){
                File input=new File(u+"index.html");
                doc = Jsoup.parse(input,"UTF-8");
            }
            else{
                File input=new File(u+url);
                doc = Jsoup.parse(input,"UTF-8");
                //System.out.println(doc);
            }
            for(Element x: doc.getElementsByTag("a")){
                try{
                    Jsoup.connect(x.attr("href"));
                    System.out.println("OUTLINK -> "+x.attr("href"));
                }
                catch(Exception e){
                    if(x.attr("href").equals("index.html")==true || x.attr("href").equals("index-2.html")==true || x.attr("href").contains("../") ==true ){
                    }
                    else{
                        System.out.println("Offline Link -> "+x.attr("href"));
                        check(x.attr("href"),false);
                    }
                }
            }
        }catch (Exception e) {
            // TODO Auto-generated catch block
             e.printStackTrace();
        }
    }
}

Answer 1

以下三个关键点将帮助您解决问题：

1）将相对URL解析为绝对URL

您可以利用Jsoup功能将相对网址解析为绝对网址。但是，您需要明确指定基URI。

因此，当您解析离线页面时，请执行以下操作：

File input = ...
Document doc = Jsoup.parse(input, "UTF-8", "file:///" + input.getAbsolutePath());
// Note the file protocol used for base URI----^

2）检查链接是否脱机

我们将使用JDK URI类来检查给定链接是否脱机。

当您在解析的页面中找到链接时，以下是检查它们是否脱机的方法：

for (Element x : doc.getElementsByTag("a")) {
    URI uri = URI.create(x.absUrl("href"));
    boolean isOffline = uri.getScheme().equalsIgnoreCase("file");

    if (isOffline) {
        System.out.println("Offline Link -> " + x.attr("href"));
        // ...
    }
}

3）将脱机链接转换为绝对文件路径

这里我们将使用File类。请查看以下示例代码：

URI uri = ...
String absolutePath = new File(uri.getPath()).toString();

Answer 2

如果您看到没有开始路径的href，则它与您当前的路径相关。

所以你在

C:/Users/MuhammadNaeem/Downloads/Compressed/IRWS_Main_Assignment/literature.offline/authors/carroll-lewis/index.html

，其基本路径为

C:/Users/MuhammadNaeem/Downloads/Compressed/IRWS_Main_Assignment/literature.offline/authors/carroll-lewis/

你看

alices-adventures-in-wonderland/index.html

表示您要转到基本路径加上该链接，即

C:/Users/MuhammadNaeem/Downloads/Compressed/IRWS_Main_Assignment/literature.offline/authors/carroll-lewis/alices-adventures-in-wonderland/index.html

如何使用Jsoup爬网离线网页？

2 个答案:

1）将相对URL解析为绝对URL

2）检查链接是否脱机

3）将脱机链接转换为绝对文件路径