缓存BufferedImage时可能发生内存泄漏

时间:2014-07-10 02:58:08

标签: java caching memory-leaks bufferedimage

我们有一个提供图像的应用程序,为了加快响应时间,我们将BufferedImage直接缓存在内存中。

class Provider {
    @Override
    public IData render(String... layers,String coordinate) {
        int rwidth = 256 , rheight = 256 ;

        ArrayList<BufferedImage> result = new ArrayList<BufferedImage>();

        for (String layer : layers) {
            String lkey = layer + "-" + coordinate;
            BufferedImage imageData = cacher.get(lkey);
            if (imageData == null) {
                try {
                    imageData = generateImage(layer, coordinate,rwidth, rheight, bbox);
                    cacher.put(lkey, imageData);
                } catch (IOException e) {
                    e.printStackTrace();
                    continue;
                }
            }

            if (imageData != null) {
                result.add(imageData);
            }

        }
        return new Data(rheight, rheight, width, result);
    }

    private BufferedImage generateImage(String layer, String coordinate,int rwidth, int rheight) throws IOException {
        BufferedImage image = new BufferedImage(rwidth, rheight, BufferedImage.TYPE_INT_ARGB);
        Graphics2D g = image.createGraphics();
        g.setColor(Color.RED);
        g.drawString(layer+"-"+coordinate, new Random().nextInt(rwidth), new Random().nextInt(rheight));
        g.dispose();
        return image;
    }

}
class Data implements IData {
    public Data(int imageWidth, int imageHeight, int originalWidth, ArrayList<BufferedImage> images) {
        this.imageResult = new BufferedImage(this.imageWidth, this.imageHeight, BufferedImage.TYPE_INT_ARGB);
        Graphics2D g = imageResult.createGraphics();
        for (BufferedImage imgData : images) {
            g.drawImage(imgData, 0, 0, null);
            imgData = null;
        }
        imageResult.flush();
        g.dispose();

        images.clear();
    }

    @Override
    public void save(OutputStream out, String format) throws IOException {
        ImageIO.write(this.imageResult, format, out);
        out.flush();
        this.imageResult = null;
    }
}

用法:

class ImageServlet  extends HttpServlet {
    void doGet(req,res){
        IData data= provider.render(req.getParameter("layers").split(","));

        OutputStream out=res.getOutputStream();
        data.save(out,"png")
        out.flush();

    }
}

注意:provider字段是单个实例。

然而,似乎存在可能的内存泄漏,因为当应用程序继续运行大约2分钟时,我将获得Out Of Memory异常。

然后我使用visualvm检查内存使用情况:

enter image description here

即使我Perform GC手动,也无法释放内存。

虽然只使用了300多个BufferedImage缓存,并且使用了20M+内存,但仍保留1.3G+个内存。事实上,通过“firebug”,我可以确保生成的图像小于1Kb。所以我认为内存使用不健康。

一旦我不使用缓存(注释以下行):

//cacher.put(lkey, imageData);

内存使用情况看起来不错:

enter image description here

因此,缓存的BufferedImage似乎会导致内存泄漏。

然后我尝试将BufferedImage转换为byte[]并缓存byte[]而不是对象本身。内存使用情况仍然正常。但是我发现Serialization的{​​{1}}和Deserialization会花费太多时间。

所以我想知道你们有没有图像缓存的经验?


更新

由于有这么多人说没有内存泄漏但是我的cacher使用了太多内存,我不确定但是我试图直接缓存BufferedImage而不是byte[]内存使用看起来不错。我无法想象322图像将占用1.5G +内存,事件正如@BrettOkken所说,总大小应为BufferedImage,远小于1Gb。

刚才,我改为缓存(256 * 256 * 4byte) * 322 / 1024 / 1024 = 80M并再次监控内存,代码改变如下:

byte

内存使用情况:

enter image description here

相同的代码,相同的操作。

3 个答案:

答案 0 :(得分:3)

从两个VisualVM屏幕截图中注意到,4,313个int []实例消耗了97.5%的内存(我假设是通过高速缓存的缓存图像),非高速缓存版本不会消耗这些内存。

97.5% Memory Consumption

虽然您有一个小于1K的PNG图像(根据PNG格式压缩),但这个单个图像是由多个缓冲图像实例(未压缩)生成的。因此,您无法直接将浏览器的图像大小与服务器上占用的内存联系起来。所以这里的问题不是内存泄漏,而是缓存这些未压缩的缓冲图像层所需的内存量。

解决此问题的策略是调整您的缓存机制:

  • 如果可能,请使用缓存的压缩版本的图层而不是raw 图像
  • 确保通过限制缓存大小永远不会耗尽内存 按实例或使用的内存量。使用LRU或LIRS 缓存驱逐政策
  • 将自定义键对象与坐标和图层分开使用 用equals / hashcode重写的变量用作键。
  • 观察行为,如果您有太多缓存未命中,那么您 将需要更好的缓存策略或缓存可能是不必要的 开销。
  • 我相信你正在缓存图层,就像你期望的图层组合一样 和坐标因此不能缓存最终图像,但取决于种类 您希望您可能希望考虑该选项的请求模式

答案 1 :(得分:0)

不确定您使用的是哪种缓存API,或者您的请求中的实际值是什么。但是基于visualvm,我认为String对象正在泄漏。正如您所提到的,如果您关闭缓存,问题就解决了。

考虑下面代码片段的摘录。

    String lkey = layer + "-" + coordinate;
    BufferedImage imageData = cacher.get(lkey);

现在,您可以在此处为此代码考虑一些事项。

  • 每次lkey
  • 都可能获得新的字符串对象
  • 您的缓存没有上限和没有驱逐政策(例如LRU)
  • Cacher而不是做String.equals()正在做==并且因为这个 是新的字符串对象,它们永远不会匹配,每次都会导致新条目

答案 2 :(得分:0)

VisualVM是一个开始,但它没有提供完整的图片。

当应用程序使用大量内存时,您需要触发堆转储。 您可以从VisualVM触发堆转储。如果将此vmarg添加到java进程,它也可以在OOME上自动完成:

 -XX:+HeapDumpOnOutOfMemoryError 

使用Memory Analyzer Tool打开并检查堆转储。

该工具非常强大,可以帮助您遍历对象引用以发现:

  1. 实际上是在使用你的记忆。
  2. 为什么来自#1的对象没有被垃圾收集。