Google Appengine JAVA - 在Blobstore中保存大量图片

时间:2013-05-24 13:07:28

标签: java google-app-engine zip blobstore

我开发了一个简单的媒体库,您可以在其中选择一组图像并下载它们。 当客户端请求下载时,servlet接收用于创建zip文件的blob密钥,然后为该过程启动任务

该任务迭代收到的blob键并将图像压缩到存档中。任务完成后,将下载链接的邮件发送给用户。

这是我的问题:

FileWriteChannel writeChannel = fileService.openWriteChannel(file, lock);
OutputStream blobOutputStream = Channels.newOutputStream(writeChannel);
ZipOutputStream zip = new ZipOutputStream(blobOutputStream);   

单个通道只能处理这个字节数

  

BlobstoreService.MAX_BLOB_FETCH_SIZE

因此,我必须每1mb数据必须打开和关闭通道(读取的问题相同,但对于我使用this code的读取而且它有效)。或者write()方法抛出空异常

使用正常的outputStream打开和关闭频道不会出现问题,例如this code

但是处理Zip文件我还必须管理

ZipOutputStream zip = new ZipOutputStream(blobOutputStream);   
ZipEntry zipEntry = new ZipEntry(image_file_name);
zipOut.putNextEntry(zipEntry);
// while the image has bytes to write
   zipOut.write(bytesToWrite);

在ZipEntry中写入1MB数据后,我必须关闭频道并再次打开它。

所以这里的问题是:我打开一个新频道,我无法访问我正在写的prevouse zipEntry然后我无法继续写下我正在处理的1MB图像。

并且,在打开一个新频道之后,如果我尝试在zipEntry对象上写(没有重新初始化它),我会得到一个ClosedChannel异常

Here是我写的SAMPLE代码,我知道它不起作用,但解释了我想要做的事情。

我的问题是:如何(如果可能,当然)我可以创建一个每次写1MB的zip文件?

我也可以使用其他方法,我需要的是将一些图像压缩成一个zip并将其保存到blobstore中,如果你有其他想法可以做到这一点,请告诉我

1 个答案:

答案 0 :(得分:2)

您应该创建自己的流,可以操纵频道。达到blob大小限制后,您的流将关闭当前通道并打开一个新通道。

本地文件示例:

public class ZipChannels {
public static void main(String[] args) throws IOException {
    File dirToZip = new File("target\\dependency");

    //create zip-files
    ChannelOutput out = new ChannelOutput();
    ZipOutputStream zip = new ZipOutputStream(out);
    int b = 0;
    for(File file: dirToZip.listFiles()) {
        ZipEntry zipEntry = new ZipEntry(file.getName());
        zip.putNextEntry(zipEntry);
        BufferedInputStream bis = new BufferedInputStream(new FileInputStream(file));
        while((b = bis.read()) != -1) {
            zip.write(b);
        }
        bis.close();
        zip.closeEntry();
    }
    zip.close();

    //merge all into one file for check it
    BufferedOutputStream bos = new BufferedOutputStream(new FileOutputStream("package_all.zip"));
    for (int i = 0; i < out.getChannelCount(); i++) {
        BufferedInputStream bis = new BufferedInputStream(new FileInputStream("package_" + i + ".zip"));
        while((b = bis.read()) != -1) {
            bos.write(b);
        }
        bis.close();
    }
    bos.close();
}

public static class ChannelOutput extends OutputStream {
    private OutputStream channel;
    private int count = 0;
    final private int MAX = 1000000;

    @Override
    public void write(int b) throws IOException {
        if(count++ % MAX == 0) {
            openNewChannel();
        }
        channel.write(b);
    }

    protected void openNewChannel() throws IOException {
        if(channel != null) {
            channel.close();
        }
        channel = new BufferedOutputStream(new FileOutputStream("package_" + (count / MAX) + ".zip")); 
    }
    public int getChannelCount() {
        return count / MAX + 1;
    }

    @Override
    public void close() throws IOException {
        channel.close();
    }
    @Override
    public void flush() throws IOException {
        channel.flush();
    }
}
}

如果您有任何疑问,请随时提出。