我正在使用Java的ZipOutputStream类来编写一个大型zip文件。
当zip文件只有1000个子文件和子文件夹时,它可以正常工作。 当zip文件只有10000个子文件和子文件夹时,它也可以正常工作。
但是,出于某种原因,当我将其增加到超过100000个子文件和子文件夹时,就会出现问题。
它仍然会写一大块子文件,但它会退出。我最终得到一个zip文件,其中包含我期待的目录树的大约一半。
zip文件不会达到4GB的屋顶大小。完成后,zip文件总体上只有大约30MB。 zip文件中的每个子文件的大小都小于1KB。
zip文件的布局很简单:
根文件夹应该包含十个子目录。
每个子目录都应该包含十个子目录。
这一直持续到第四级,其中每个子目录包含十个文件。
但执行后,第一级只保存5个目录,第一级的最后一个目录只保存两个子目录。
以下是相关代码:
public class MyZipFile{
MyFolder folder;
public void create(String[] haystack){
folder = new MyFolder();
folder.create(haystack);
}
public void writeToDisk(String rootPath){
FileOutputStream rootFile;
BufferedOutputStream rootBuffer;
ZipOutputStream rootZip;
try{
rootFile = new FileOutputStream(rootPath);
rootBuffer = new BufferedOutputStream(rootFile);
rootZip = new ZipOutputStream(rootBuffer);
folder.writeToDisk(rootZip);
rootZip.close();
}
}
}
和
public class MyKeyFolder extends MyFileSystemElement {
private final int numSubfiles = 10;
private MyFileSystemElement[] subfiles;
public MyFolder(int[] catalogNumber){
super(catalogNumber);
subfiles = new MyFileSystemElement[numSubfiles];
}
@Override
public void create(String[] haystack){
for(int i=0; i < numSubfiles; i++){
MyFileSystemElement element;
int[] subCatalogNumber = createSubCatalogNumber(i);
//finalFolderLevel determines how many files are in the ZIP
//When finalFolderLevel is 2, there are about 1000 subfiles.
//When finalFolderLevel is 3, there are about 10000 subfiles.
//When finalFolderLevel is 4, there are about 100000 subfiles
//(and this is where I run into trouble).
if(thisFolderLevel <= finalFolderLevel)
element = new myFolder(subCatalogNumber);
else
element = new myFile(subCatalogNumber);
subfiles[i] = element;
subfiles[i].create(haystack);
}
}
@Override
public void writeToDisk(ZipOutputStream zipStream) throws IOException {
String path = createPathFromCatalogNumber();
zipStream.putNextEntry(new ZipEntry(path));
zipStream.flush();
zipStream.closeEntry();
for(MyFileSystemElement file : subfiles){
file.writeToDisk(zipStream);
}
}
}
和
public class MyFile extends MyFileSystemElement {
private String fileContents;
@Override
public void create(String[] haystack){
fileContents = "";
fileContents += haystack[deriveIndex(0)] + "\n";
fileContents += haystack[deriveIndex(1)] + "\n";
fileContents += haystack[deriveIndex(2)] + "\n";
fileContents += haystack[deriveIndex(3)] + "\n";
fileContents += haystack[deriveIndex(4)] + "\n";
fileContents += haystack[deriveIndex(5)] + "\n";
fileContents += haystack[deriveIndex(6)] + "\n";
fileContents += haystack[deriveIndex(7)] + "\n";
fileContents += haystack[deriveIndex(8)] + "\n";
fileContents += haystack[deriveIndex(9)] + "\n";
}
@Override
public void writeToDisk(ZipOutputStream zipStream) throws IOException {
String path = createPathFromCatalogNumber();
ZipEntry entry = new ZipEntry(path);
byte[] contents = fileContents.getBytes();
zipStream.putNextEntry(entry);
zipStream.write(contents);
zipStream.flush();
zipStream.closeEntry();
}
}
我想知道ZipOutputStream在退出之前是否有最多可写的文件数。或者FileOutputStream也可以。我不确定。
感谢您的帮助。谢谢。
答案 0 :(得分:0)
原始的INFO-ZIP格式(Java实现)似乎限制为65,536个条目:
http://www.info-zip.org/FAQ.html#limits
这是WinZIP相对于ZIP64格式的另一个角度:
http://kb.winzip.com/kb/entry/99/
您可能希望使用其他存档格式或找出限制文件数的方法。