Question

我在java中创建了Web爬虫。它以递归方式遍历每个页面中的链接。现在我想获得特定页面获得的点击次数。是否可以通过网络爬虫？由于我们无法访问服务器代码，因此我们无法添加任何计数器来计算点击次数。请建议任何解决方案。感谢。

代码的基本结构是：

- ＆GT;获取url的html源代码。 - ＆GT;从html代码中找到可到达的链接并将其放入列表中。 - ＆GT;从列表中取出下一个链接并继续相同，直到列表变空。

我只想显示每个链接的点击次数。

Answer 1

我可以建议的一件事是将你的链接包装成一个类，让它有一个名为counter的变量来记录它。所以基本上你会有一个Link类的列表。示例如下：

public class Link{
    private String url;
    private int count = 0;

    public Link(String url){
        this.url = url; // initialise your link class with a url
    }

    public String getUrl(){
        increment();
        return url;
    }

    public void increment(){
        count++;
    }

    public int getCount(){
        return count;
    }
}

然后算这样：

List<Link> links.... // initialise your links

Document doc = Jsoup.connect(links.get(i).getUrl()).get();

这样，每次访问您的网址时，计数都会增加，以记录总点击次数。

使用网络抓取工具

1 个答案: