用Java抓取网页并下载视频

时间:2019-04-26 13:38:58

标签: java web-scraping jsoup

我正在尝试刮擦这9gag link

我尝试使用JSoup获取此HTML tag 用于获取源链接​​并直接下载视频。

我尝试使用此代码

    public static void main(String[] args) throws IOException {
        Response response= Jsoup.connect("https://9gag.com/gag/a2ZG6Yd")
                   .ignoreContentType(true)
                   .userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0")  
                   .referrer("https://www.facebook.com/")
                   .timeout(12000) 
                   .followRedirects(true)
                   .execute();

        Document doc = response.parse();
        System.out.println(doc.getElementsByTag("video"));
    }

但我什么也没得到

然后我尝试了

    public static void main(String[] args) throws IOException {
        Response response= Jsoup.connect("https://9gag.com/gag/a2ZG6Yd")
                   .ignoreContentType(true)
                   .userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0")  
                   .referrer("https://www.facebook.com/")
                   .timeout(12000) 
                   .followRedirects(true)
                   .execute();

        Document doc = response.parse();
        System.out.println(doc.getAllElements());
    }

我注意到HTML中没有我要查找的标签,好像页面是动态加载的,而标签“ video”还没有加载

我该怎么办? 谢谢大家

1 个答案:

答案 0 :(得分:0)

让我们扭转这种做法。您已经知道我们正在寻找类似https://img-9gag-fun.9cache.com/photo/a2ZG6Yd_460svvp9.webm的URL (要获取视频的网址,您也可以在Chrome浏览器中右键单击它,然后选择“复制视频地址”。)

如果您搜索页面源,则会发现a2ZG6Yd_460svvp9.webm,但它存储在<script>中的JSON中。

enter image description here

对于Jsoup来说,这不是一个好消息,因为它无法解析,但是我们可以使用简单的正则表达式来获取此链接。该网址已被转义,因此我们必须删除反斜杠。然后,您可以使用Jsoup下载文件。

    public static void main(String[] args) throws IOException {
        Document doc = Jsoup.connect("https://9gag.com/gag/a2ZG6Yd").ignoreContentType(true)
                .userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0")
                .referrer("https://www.facebook.com/").timeout(12000).followRedirects(true).get();

        String html = doc.toString();

        Pattern p = Pattern.compile("\"vp9Url\":\"([^\"]+?)\"");
        Matcher m = p.matcher(html);
        if (m.find()) {
            String escpaedURL = m.group(1);
            String correctUrl = escpaedURL.replaceAll("\\\\", "");
            System.out.println(correctUrl);
            downloadFile(correctUrl);
        }
    }

    private static void downloadFile(String url) throws IOException {
        FileOutputStream out = (new FileOutputStream(new File("C:\\file.webm")));
        out.write(Jsoup.connect(url).ignoreContentType(true).execute().bodyAsBytes());
        out.close();
    }

还要注意,vp9Url不是那里唯一的一个,所以也许另一个更合适,例如h265UrlwebpUrl