Question

我正在尝试创建基于深度优先搜索的网络爬虫。这是我目前的代码：

import java.util.*;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.io.*;
import java.net.*;

public class DepthFirstSpider {
    private List<String> visitedList; //web pages already visited
    private static String hrefExpr = "href\\s*=\\s*\"([^\"]+)\"";
    private static Pattern pattern = Pattern.compile(hrefExpr);
    private int limit;
    private static Matcher matcher;
    private static URL contextURL;
    private static URL url;

    public List<String>  getVisitedList() { return visitedList; }

    //initialize the visitedlist and limit instance variables. Visit the starting url.
    public DepthFirstSpider(int limit, String startingURL) {
        visitedList = new ArrayList<String>();
        this.limit = limit;
        try {
            contextURL = new URL(startingURL);
        } catch (MalformedURLException e) {

        }

        visit(startingURL);
    }

    //print and add urlString to list of visited web pages 
    //create url and connect, read through html contents:
    //when href encountered create new url relative to the current url and visit it (if not already visited and limit not reached)
    public void visit(String urlString) {
        try{
            url = new URL(contextURL, urlString);
            URLConnection connection = url.openConnection();
            InputStream inputStream = connection.getInputStream();
            BufferedReader reader = new BufferedReader(
                    new InputStreamReader(inputStream));
            String nextLine;
            while((nextLine=reader.readLine()) != null){
                matcher = pattern.matcher(nextLine);
                while(matcher.find() && limit > 0 && !visitedList.contains(url.toString())){
                    System.out.println("visiting " + url.toString());
                    visitedList.add(url.toString());
                    visit(matcher.group(1));
                    limit--;
                }
            }
        } catch (MalformedURLException e){

        } catch (IOException e){

        }
    }

}

搜索目前正在搜索网页树而没有任何问题。我需要帮助，让它重新开始，然后转到错过的页面。谢谢你的帮助。

Answer 1

当我做一个爬虫时，我使用了两个队列而不是一个列表。一个队列包含要访问的URL，另一个包含访问的URL。我将我想要访问的所有URL添加到toVisit队列中，当我访问这些URL时，我将它们从toVisit队列中删除（并添加到访问队列），并将该页面上的所有链接添加到toVisit队列，除非它们在访问过队列。没有必要以这种方式进行遍历。

Answer 2

我可能会遗漏一些东西，但是，

首先，您需要跟踪扩展节点。每个生成的子节点都应该将它们添加到堆栈（FILO）。

你应该将每个展开的节点推送（）到堆栈并在每次迭代时使用pop（）。当你达到极限时，你将弹出上层节点。

这是家庭作业吗？

你可以在维基百科的伪代码中找到一个好的解释。

第一次通过后继续深度搜索？

2 个答案: