GZIPInputStream在读取GZIP文件时抛出异常

时间:2013-05-28 00:48:37

标签: java ftp gzip inputstream gzipinputstream

我正在尝试从公共匿名ftp中读取文件,而我正在遇到问题。我可以很好地阅读纯文本文件,但是当我尝试读取gzip文件时,我得到了这个例外:

Exception in thread "main" java.util.zip.ZipException: invalid distance too far back

at java.util.zip.InflaterInputStream.read(InflaterInputStream.java:164)
at java.util.zip.GZIPInputStream.read(GZIPInputStream.java:116)
at java.io.FilterInputStream.read(FilterInputStream.java:107)
at java_io_FilterInputStream$read.call(Unknown Source)
at GenBankFilePoc.main(GenBankFilePoc.groovy:36)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at com.intellij.rt.execution.application.AppMain.main(AppMain.java:120)

我尝试下载文件并使用FileInputStream包裹在GZIPInputStream中并得到完全相同的问题,所以我认为这不是FTP客户端的问题(这是apache )。

以下是一些可以重现问题的测试代码。它只是试图打印到stdout:

    FTPClient ftp = new FTPClient();
    ftp.connect("ftp.ncbi.nih.gov");
    ftp.login("anonymous", "");
    InputStream is = new GZIPInputStream(ftp.retrieveFileStream("/genbank/gbbct1.seq.gz"));

    try {
        byte[] buffer = new byte[65536];
        int noRead;

        while ((noRead = is.read(buffer)) != 1) {
            System.out.write(buffer, 0, noRead);
        }
    } finally {
        is.close();
        ftp.disconnect();
    }

我找不到任何关于为什么会发生这种情况的文档,并且通过调试器中的代码跟踪它并没有让我任何地方。我觉得我错过了一些明显的东西。

编辑:我手动下载文件并使用GZIPInputStream读取它并且能够将其打印出来。我已经尝试了2个不同的Java FTP客户端

2 个答案:

答案 0 :(得分:3)

啊,我发现了什么问题。您必须将文件类型设置为FTP.BINARY_FILE_TYPE,以便从SocketInputStream返回的retrieveFileStream不会被缓冲。

以下代码有效:

    FTPClient ftp = new FTPClient();
    ftp.connect("ftp.ncbi.nih.gov");
    ftp.login("anonymous", "");
    ftp.setFileType(FTP.BINARY_FILE_TYPE);
    InputStream is = new GZIPInputStream(ftp.retrieveFileStream("/genbank/gbbct1.seq.gz"));

    try {
        byte[] buffer = new byte[65536];
        int noRead;

        while ((noRead = is.read(buffer)) != 1) {
            System.out.write(buffer, 0, noRead);
        }
    } finally {
        is.close();
        ftp.disconnect();
    }
}

答案 1 :(得分:1)

您需要先完全下载该文件,因为ftp.retrieveFileStream()不支持文件搜索。

您的代码应为:

FTPClient ftp = new FTPClient();
ftp.connect("ftp.ncbi.nih.gov");
ftp.login("anonymous", "");
File downloaded = new File("");
FileOutputStream fos = new FileOutputStream(downloaded);
ftp.retrieveFile("/genbank/gbbct1.seq.gz", fos);
InputStream is = new GZIPInputStream(new FileInputStream(downloaded));

try {
    byte[] buffer = new byte[65536];
    int noRead;

    while ((noRead = is.read(buffer)) != 1) {
        System.out.write(buffer, 0, noRead);
    }
} finally {
    is.close();
    ftp.disconnect();
}