经过一周的工作,我设计了一个二进制文件格式,并为它制作了一个Java阅读器。它只是一个实验,除非我使用GZip压缩功能,否则它可以正常工作。
我调用了我的二进制类型MBDF(最小二进制数据库格式),它可以存储8种不同的类型:
float
类型)double
类型)ArrayList<Object>
)String
- Object
地图)我将此数据用作测试数据:
COMPOUND {
float1: FLOAT_32 3.3
bool2: BOOLEAN true
float2: FLOAT_64 3.3
int1: INTEGER 3
compound1: COMPOUND {
xml: STRING "two length compound"
int: INTEGER 23
}
string1: STRING "Hello world!"
string2: STRING "3"
arr1: ARRAY [
STRING "Hello world!"
INTEGER 3
STRING "3"
FLOAT_32 3.29
FLOAT_64 249.2992
BOOLEAN true
COMPOUND {
str: STRING "one length compound"
}
BOOLEAN false
NULL null
]
bool1: BOOLEAN false
null1: NULL null
}
化合物中的xml
键确实很重要!!
我使用这个java代码从中创建了一个文件:
MBDFFile.writeMBDFToFile(
"/Users/<anonymous>/Documents/Java/MBDF/resources/file.mbdf",
b.makeMBDF(false)
);
此处,变量b
是MBDFBinary
对象,包含上面给出的所有数据。使用makeMBDF
函数,它生成ISO 8859-1编码的字符串,如果给定的布尔值为true
,则使用GZip压缩字符串。然后,在写入时,会在文件的开头添加一个额外的信息字符,其中包含有关如何将其读回的信息。
然后,在写完文件之后,我把它读回java并解析它
MBDF mbdf = MBDFFile.readMBDFFromFile("/Users/<anonymous>/Documents/Java/MBDF/resources/file.mbdf");
System.out.println(mbdf.getBinaryObject().parse());
这将完全打印上述信息。
然后我尝试使用压缩:
MBDFFile.writeMBDFToFile(
"/Users/<anonymous>/Documents/Java/MBDF/resources/file.mbdf",
b.makeMBDF(true)
);
我做的完全相同,就像我对未压缩文件所做的一样,它应该可以工作。它打印此信息:
COMPOUND {
float1: FLOAT_32 3.3
bool2: BOOLEAN true
float2: FLOAT_64 3.3
int1: INTEGER 3
compound1: COMPOUND {
xUT: STRING 'two length compound'
int: INTEGER 23
}
string1: STRING 'Hello world!'
string2: STRING '3'
arr1: ARRAY [
STRING 'Hello world!'
INTEGER 3
STRING '3'
FLOAT_32 3.29
FLOAT_64 249.2992
BOOLEAN true
COMPOUND {
str: STRING 'one length compound'
}
BOOLEAN false
NULL null
]
bool1: BOOLEAN false
null1: NULL null
}
将其与初始信息进行比较,由于某种原因,名称xml
已更改为xUT
...
经过一些研究,我发现在压缩之前和压缩之后二进制数据几乎没有差异。 110011
等格式变为101010
。
当我将名称xml
设置得更长时,例如xmldm
,由于某种原因,它只会被解析为xmldm
。
我目前看到问题只出现在有三个字符的名称上。
直接压缩和解压缩生成的字符串(不将其保存到文件并读取)确实有效,因此错误可能是由文件编码引起的。
据我所知,字符串输出是ISO 8859-1格式,但我无法正确编码文件。读取文件时,必须读取该文件,并将所有字符读取为ISO 8859-1字符。
我有些事情可能是一个原因,我实际上并不知道如何测试它们:
但是哪一个是真的,如果它们都不对,那么这个错误的真正原因是什么?
我现在无法解决这个问题。
MBDFFile类,读取和存储文件:
/* MBDFFile.java */
package com.redgalaxy.mbdf;
import java.io.*;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
public class MBDFFile {
public static MBDF readMBDFFromFile(String filename) throws IOException {
// FileInputStream is = new FileInputStream(filename);
// InputStreamReader isr = new InputStreamReader(is, "ISO-8859-1");
// BufferedReader br = new BufferedReader(isr);
//
// StringBuilder builder = new StringBuilder();
//
// String currentLine;
//
// while ((currentLine = br.readLine()) != null) {
// builder.append(currentLine);
// builder.append("\n");
// }
//
// builder.deleteCharAt(builder.length() - 1);
//
//
// br.close();
Path path = Paths.get(filename);
byte[] data = Files.readAllBytes(path);
return new MBDF(new String(data, "ISO-8859-1"));
}
private static void writeToFile(String filename, byte[] txt) throws IOException {
// BufferedWriter writer = new BufferedWriter(new FileWriter(filename));
//// FileWriter writer = new FileWriter(filename);
// writer.write(txt.getBytes("ISO-8859-1"));
// writer.close();
// PrintWriter pw = new PrintWriter(filename, "ISO-8859-1");
FileOutputStream stream = new FileOutputStream(filename);
stream.write(txt);
stream.close();
}
public static void writeMBDFToFile(String filename, MBDF info) throws IOException {
writeToFile(filename, info.pack().getBytes("ISO-8859-1"));
}
}
pack
函数以ISO 8859-1格式生成文件的最终字符串。
对于所有其他代码,请参阅我的MBDF Github repository。
我评论了我试过的代码,试图展示我的尝试。
我的工作区: - Macbook Air&#11; 11(High Sierra) - IntellIJ社区2017.3 - JDK 1.8
我希望这是足够的信息,这实际上是明确我在做什么以及究竟什么不起作用的唯一方法。
MBDF.java
/* MBDF.java */
package com.redgalaxy.mbdf;
import java.io.IOException;
import java.io.UnsupportedEncodingException;
public class MBDF {
private String data;
private InfoTag tag;
public MBDF(String data) {
this.tag = new InfoTag((byte) data.charAt(0));
this.data = data.substring(1);
}
public MBDF(String data, InfoTag tag) {
this.tag = tag;
this.data = data;
}
public MBDFBinary getBinaryObject() throws IOException {
String uncompressed = data;
if (tag.isCompressed) {
uncompressed = GZipUtils.decompress(data);
}
Binary binary = getBinaryFrom8Bit(uncompressed);
return new MBDFBinary(binary.subBit(0, binary.getLen() - tag.trailing));
}
public static Binary getBinaryFrom8Bit(String s8bit) {
try {
byte[] bytes = s8bit.getBytes("ISO-8859-1");
return new Binary(bytes, bytes.length * 8);
} catch( UnsupportedEncodingException ignored ) {
// This is not gonna happen because encoding 'ISO-8859-1' is always supported.
return new Binary(new byte[0], 0);
}
}
public static String get8BitFromBinary(Binary binary) {
try {
return new String(binary.getByteArray(), "ISO-8859-1");
} catch( UnsupportedEncodingException ignored ) {
// This is not gonna happen because encoding 'ISO-8859-1' is always supported.
return "";
}
}
/*
* Adds leading zeroes to the binary string, so that the final amount of bits is 16
*/
private static String addLeadingZeroes(String bin, boolean is16) {
int len = bin.length();
long amount = (long) (is16 ? 16 : 8) - len;
// Create zeroes and append binary string
StringBuilder zeroes = new StringBuilder();
for( int i = 0; i < amount; i ++ ) {
zeroes.append(0);
}
zeroes.append(bin);
return zeroes.toString();
}
public String pack(){
return tag.getFilePrefixChar() + data;
}
public String getData() {
return data;
}
public InfoTag getTag() {
return tag;
}
}
此类包含pack()
方法。 data
已经在这里压缩了(如果应该的话)。
对于其他课程,请观看Github存储库,我不想让我的问题太长。
答案 0 :(得分:0)
自己解决!
这似乎是读写系统。导出文件时,我使用ISO-8859-1表创建了一个字符串,以将字节转换为字符。我将该字符串写入了一个文本文件,即UTF-8。最大的问题是我使用FileWriter
实例编写了文本文件。
阅读使用逆系统。完整的文件作为一个字符串(消耗内存!)读入内存,然后被解码。
我不知道文件是二进制数据,其中特定格式的文件构成文本数据。 ISO-8859-1和UTF-8是其中一些格式。我在使用UTF-8时遇到问题,因为它将一些字符分成了两个字节,我无法管理...
我的解决方案是使用流。 Java中存在FileInputStream
和FileOutputStream
,可用于读写二进制文件。我没有使用流,因为我认为并没有太大的区别(“文件是文本,所以出什么问题了?” ),但是有...我实现了这一点(通过编写一个新的类似库),现在我可以将每个输入流传递给解码器,并将每个输出流传递给编码器。要制作未压缩的文件,您需要传递一个FileOutputStream
。依靠GZipOutputStream
,Gzip压缩文件可以使用FileOutputStream
s。如果有人想要带有二进制数据的字符串,则可以使用ByteArrayOutputStream
。相同的规则适用于阅读,其中应使用提到的流的InputStream
变体。
不再存在UTF-8或ISO-8859-1问题,即使使用GZip,它似乎也能正常工作!