Question

我使用jsoup从网站上下载了一些文件，通过下面的代码，我可以获得文件下载响应正文

 private HttpConnection.Response getResponse3(String url, String resource_url) throws IOException {
    Response resource_download;
    resource_download = Jsoup.connect(resource_url)
            .method(Method.GET).header("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36")
            .header("Upgrade-Insecure-Requests", "1")
            .header("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8")
            .header("Accept-Encoding", "gzip, deflate, br")
            .header("Accept-Language", "zh-CN,zh;q=0.9,en;q=0.8")
            .header("Referer", url)
            .cookie("CASTGC", "TGT-1479-kzRU5mnAuwVmsfJFcaHDT1iIrD6V7C1kUvi6IMi")
            .followRedirects(true)
            .ignoreContentType(true)
            .execute();
    return resource_download;
}

然后我将响应对象返回到另一种方法来下载文件。该方法如下所示：

        File file = new File(downloadFilePath + fileName);
        BufferedInputStream inputStream = response.bodyStream();
        FileOutputStream fos = new FileOutputStream(file);
        byte[] buffer = new byte[1024];
        int len;
        while ((len = inputStream.read(buffer)) != -1) {
            fos.write(buffer, 0, len);
        }
        inputStream.close();
        fos.close();

但是，我只能下载1 MB的文件，大约是 70M左右。所以我想知道为什么这些代码不能正常工作？它出什么问题了。

我还阅读了一些建议，说最好使用HttpURLConnection而不是jsoup下载文件，但之所以这样做是因为我认为jsoup可以携带cookie以及浏览器的其他信息来获取文件下载流，但是如果我向文件url发送另一个请求，我又要写这些信息和cookie。没有这些信息，服务器将检测到我，他们可能会拒绝我的访问。

Answer 1

在.maxBodySize(0)之前使用.execute()。 https://jsoup.org/apidocs/org/jsoup/Connection.html#maxBodySize-int-

使用jsoup下载文件，响应bodyStream只能下载一兆字节的文件

1 个答案: