Java GZip在压缩文件并再次解压缩时会产生细微差别

时间:2018-03-23 16:34:10

标签: java binary gzip utf iso-8859-1

经过一周的工作,我设计了一个二进制文件格式,并为它制作了一个Java阅读器。它只是一个实验,除非我使用GZip压缩功能,否则它可以正常工作。

我调用了我的二进制类型MBDF(最小二进制数据库格式),它可以存储8种不同的类型:

  • 整数(没有像字节,短,长或类似的东西,因为它存储在灵活的空间(更大的数字需要更多的空间))。
  • Float-32(32位浮点格式,如java' s float类型)
  • Float-64(64位浮点格式,如java' double类型)
  • String(UTF-16格式的字符串)
  • 布尔
  • Null(只是指定一个空值)
  • 数组(类似java&#39; s ArrayList<Object>
  • 复合(A String - Object地图)

我将此数据用作测试数据:

COMPOUND {
    float1: FLOAT_32 3.3
    bool2: BOOLEAN true
    float2: FLOAT_64 3.3
    int1: INTEGER 3
    compound1: COMPOUND {
        xml: STRING "two length compound"
        int: INTEGER 23
    }
    string1: STRING "Hello world!"
    string2: STRING "3"
    arr1: ARRAY [
        STRING "Hello world!"
        INTEGER 3
        STRING "3"
        FLOAT_32 3.29
        FLOAT_64 249.2992
        BOOLEAN true
        COMPOUND {
            str: STRING "one length compound"
        }
        BOOLEAN false
        NULL null
    ]
    bool1: BOOLEAN false
    null1: NULL null
}

化合物中的xml键确实很重要!!

我使用这个java代码从中创建了一个文件:

MBDFFile.writeMBDFToFile(
    "/Users/&lt;anonymous&gt;/Documents/Java/MBDF/resources/file.mbdf", 
    b.makeMBDF(false)
);

此处,变量bMBDFBinary对象,包含上面给出的所有数据。使用makeMBDF函数,它生成ISO 8859-1编码的字符串,如果给定的布尔值为true,则使用GZip压缩字符串。然后,在写入时,会在文件的开头添加一个额外的信息字符,其中包含有关如何将其读回的信息。

然后,在写完文件之后,我把它读回java并解析它

MBDF mbdf = MBDFFile.readMBDFFromFile("/Users/<anonymous>/Documents/Java/MBDF/resources/file.mbdf");
System.out.println(mbdf.getBinaryObject().parse());

这将完全打印上述信息。

然后我尝试使用压缩:

MBDFFile.writeMBDFToFile(
    "/Users/<anonymous>/Documents/Java/MBDF/resources/file.mbdf", 
    b.makeMBDF(true)
);

我做的完全相同,就像我对未压缩文件所做的一样,它应该可以工作。它打印此信息:

COMPOUND {
    float1: FLOAT_32 3.3
    bool2: BOOLEAN true
    float2: FLOAT_64 3.3
    int1: INTEGER 3
    compound1: COMPOUND {
        xUT: STRING 'two length compound'
        int: INTEGER 23
    }
    string1: STRING 'Hello world!'
    string2: STRING '3'
    arr1: ARRAY [
        STRING 'Hello world!'
        INTEGER 3
        STRING '3'
        FLOAT_32 3.29
        FLOAT_64 249.2992
        BOOLEAN true
        COMPOUND {
            str: STRING 'one length compound'
        }
        BOOLEAN false
        NULL null
    ]
    bool1: BOOLEAN false
    null1: NULL null
}

将其与初始信息进行比较,由于某种原因,名称xml已更改为xUT ...

经过一些研究,我发现在压缩之前和压缩之后二进制数据几乎没有差异。 110011等格式变为101010

当我将名称xml设置得更长时,例如xmldm,由于某种原因,它只会被解析为xmldm。 我目前看到问题只出现在有三个字符的名称上。

直接压缩和解压缩生成的字符串(不将其保存到文件并读取)确实有效,因此错误可能是由文件编码引起的。

据我所知,字符串输出是ISO 8859-1格式,但我无法正确编码文件。读取文件时,必须读取该文件,并将所有字符读取为ISO 8859-1字符。

我有些事情可能是一个原因,我实际上并不知道如何测试它们:

  • GZip输出的编码与未压缩的编码不同,在存储为文件时会产生细微差别。
  • 该文件以UTF-8格式存储,只是忽略了ISO 8859-1编码的顺序(不知道如何解释:))
  • java GZip库中有一个小错误。

但是哪一个是真的,如果它们都不对,那么这个错误的真正原因是什么?

我现在无法解决这个问题。

MBDFFile类,读取和存储文件:

/* MBDFFile.java */
package com.redgalaxy.mbdf;

import java.io.*;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;

public class MBDFFile {
    public static MBDF readMBDFFromFile(String filename) throws IOException {

//        FileInputStream is = new FileInputStream(filename);
//        InputStreamReader isr = new InputStreamReader(is, "ISO-8859-1");
//        BufferedReader br = new BufferedReader(isr);
//
//        StringBuilder builder = new StringBuilder();
//
//        String currentLine;
//
//        while ((currentLine = br.readLine()) != null) {
//            builder.append(currentLine);
//            builder.append("\n");
//        }
//
//        builder.deleteCharAt(builder.length() - 1);
//
//
//        br.close();

        Path path = Paths.get(filename);
        byte[] data = Files.readAllBytes(path);

        return new MBDF(new String(data, "ISO-8859-1"));
    }

    private static void writeToFile(String filename, byte[] txt) throws IOException {
//        BufferedWriter writer = new BufferedWriter(new FileWriter(filename));
////        FileWriter writer = new FileWriter(filename);
//        writer.write(txt.getBytes("ISO-8859-1"));
//        writer.close();
//        PrintWriter pw = new PrintWriter(filename, "ISO-8859-1");
        FileOutputStream stream = new FileOutputStream(filename);
        stream.write(txt);
        stream.close();
    }

    public static void writeMBDFToFile(String filename, MBDF info) throws IOException {
        writeToFile(filename, info.pack().getBytes("ISO-8859-1"));
    }
}

pack函数以ISO 8859-1格式生成文件的最终字符串。

对于所有其他代码,请参阅我的MBDF Github repository

我评论了我试过的代码,试图展示我的尝试。

我的工作区: - Macbook Air&#11; 11(High Sierra) - IntellIJ社区2017.3 - JDK 1.8

我希望这是足够的信息,这实际上是明确我在做什么以及究竟什么不起作用的唯一方法。

编辑:MBDF.java

/* MBDF.java */
package com.redgalaxy.mbdf;

import java.io.IOException;
import java.io.UnsupportedEncodingException;

public class MBDF {

    private String data;
    private InfoTag tag;

    public MBDF(String data) {
        this.tag = new InfoTag((byte) data.charAt(0));
        this.data = data.substring(1);
    }

    public MBDF(String data, InfoTag tag) {
        this.tag = tag;
        this.data = data;
    }

    public MBDFBinary getBinaryObject() throws IOException {
        String uncompressed = data;
        if (tag.isCompressed) {
            uncompressed = GZipUtils.decompress(data);
        }
        Binary binary = getBinaryFrom8Bit(uncompressed);
        return new MBDFBinary(binary.subBit(0, binary.getLen() - tag.trailing));
    }

    public static Binary getBinaryFrom8Bit(String s8bit) {
        try {
            byte[] bytes = s8bit.getBytes("ISO-8859-1");
            return new Binary(bytes, bytes.length * 8);
        } catch( UnsupportedEncodingException ignored ) {
            // This is not gonna happen because encoding 'ISO-8859-1' is always supported.
            return new Binary(new byte[0], 0);
        }
    }

    public static String get8BitFromBinary(Binary binary) {
        try {
            return new String(binary.getByteArray(), "ISO-8859-1");
        } catch( UnsupportedEncodingException ignored ) {
            // This is not gonna happen because encoding 'ISO-8859-1' is always supported.
            return "";
        }
    }

    /*
     * Adds leading zeroes to the binary string, so that the final amount of bits is 16
     */
    private static String addLeadingZeroes(String bin, boolean is16) {
        int len = bin.length();
        long amount = (long) (is16 ? 16 : 8) - len;

        // Create zeroes and append binary string
        StringBuilder zeroes = new StringBuilder();
        for( int i = 0; i < amount; i ++ ) {
            zeroes.append(0);
        }
        zeroes.append(bin);

        return zeroes.toString();
    }

    public String pack(){
        return tag.getFilePrefixChar() + data;
    }

    public String getData() {
        return data;
    }

    public InfoTag getTag() {
        return tag;
    }

}

此类包含pack()方法。 data已经在这里压缩了(如果应该的话)。

对于其他课程,请观看Github存储库,我不想让我的问题太长。

1 个答案:

答案 0 :(得分:0)

自己解决!

这似乎是读写系统。导出文件时,我使用ISO-8859-1表创建了一个字符串,以将字节转换为字符。我将该字符串写入了一个文本文件,即UTF-8。最大的问题是我使用FileWriter实例编写了文本文件。

阅读使用逆系统。完整的文件作为一个字符串(消耗内存!)读入内存,然后被解码。

我不知道文件是二进制数据,其中特定格式的文件构成文本数据。 ISO-8859-1和UTF-8是其中一些格式。我在使用UTF-8时遇到问题,因为它将一些字符分成了两个字节,我无法管理...

我的解决方案是使用流。 Java中存在FileInputStreamFileOutputStream,可用于读写二进制文件。我没有使用流,因为我认为并没有太大的区别(“文件是文本,所以出什么问题了?” ),但是有...我实现了这一点(通过编写一个新的类似库),现在我可以将每个输入流传递给解码器,并将每个输出流传递给编码器。要制作未压缩的文件,您需要传递一个FileOutputStream。依靠GZipOutputStream,Gzip压缩文件可以使用FileOutputStream s。如果有人想要带有二进制数据的字符串,则可以使用ByteArrayOutputStream。相同的规则适用于阅读,其中应使用提到的流的InputStream变体。

不再存在UTF-8或ISO-8859-1问题,即使使用GZip,它似乎也能正常工作!