如何在Java中获取页面上不同链接的请求URL?

时间:2017-04-03 14:05:32

标签: java maven web-scraping css-selectors jsoup

我在这个页面上:http://www.flashscore.com/nhl/。你在这里看到的第一张表格是今天的比赛'。如果您点击一场比赛,您将进入游戏摘要。

在那里你可以点击' H2H'选项卡,你来到这里:http://www.flashscore.com/match/Q1OevyV9/#h2h;overall。此时,如果您打开开发人员工具,并单击网络选项卡,则可以找到请求URL。

我开始在JAVA中编写一个程序,该程序获取“今日比赛”中所有匹配的所有H2H的所有请求URL。表

  final Document page = Jsoup
        .connect("http://d.flashscore.com/x/feed/tx_xlQp8HDC_pMu72He4")
        .cookie("_ga","GA1.2.47011772.1485726144")
        .referrer("http://d.flashscore.com/x/feed/proxy-local")
        .userAgent(myUserAgent)
        .header("X-Fsign", "SW9D1eZo")
        .header("X-GeoIP", "1")
        .header("X-Requested-With", "XMLHttpRequest")
        .get();

}

所以,有了这段代码,我得到了这个页面,但我没有忘记如何继续。有人可以帮助我,谁有WebScraping的经验?

0 个答案:

没有答案