如何使用JSoup登录网站并提取数据？

Question

我试图从fantasy.premierleague.com/transfers

中提取数据

使用JSoup和以下代码，我可以从主页中提取链接。但是，要访问转移页面，我需要登录。

我应该向这个简单的代码添加什么，以便我可以登录并访问转移页面？

public class StatsCollector {

public static void main (String [] args){

    try {
        Document doc = Jsoup.connect("http://fantasy.premierleague.com/transfers").get();
        Elements links = doc.select("a[href]");
        System.out.println(links);
    }  

    catch (IOException ex) {
        Logger.getLogger(StatsCollector.class.getName()).log(Level.SEVERE,null,ex);
    }
}

}

Answer 1

JSoup只是HTML解析器，您需要进行身份验证的是一些HTMLClient（例如Selenium），它可以在页面上执行某些操作（写入文本字段，单击按钮）。