Question

我正在处理从文件中读取大量数据的应用程序。基本上，我有一个巨大的文件（大约1.5 - 2演出）包含不同的对象（每个文件约500至1000万）。我需要阅读所有这些内容并将它们放到应用程序中的不同地图上。问题是app在某些时候读取对象时内存不足。只有当我将其设置为使用-Xmx4096m时 - 它才能处理该文件。但如果文件更大，它就不能再这样做了。

以下是代码段：

String sampleFileName = "sample.file";
FileInputStream fileInputStream = null;
ObjectInputStream objectInputStream = null;
try{
    fileInputStream = new FileInputStream(new File(sampleFileName));
    int bufferSize = 16 * 1024;
    objectInputStream = new ObjectInputStream(new BufferedInputStream(fileInputStream, bufferSize));
        while (true){
            try{
                Object objectToRead = objectInputStream.readUnshared();
                if (objectToRead == null){
                    break;
                }
                // doing something with the object
            }catch (EOFException eofe){
                eofe.printStackTrace();
                break;
            } catch (Exception e) {
                e.printStackTrace();
                continue;
            }
        }
} catch (Exception e){
        e.printStackTrace();
}finally{
    if (objectInputStream != null){
        try{
            objectInputStream.close();
        }catch (Exception e2){
            e2.printStackTrace();
        }
    }
    if (fileInputStream != null){
        try{
            fileInputStream.close();
        }catch (Exception e2){
            e2.printStackTrace();
        }
    }
}

首先，我使用 objectInputStream.readObject（）而不是 objectInputStream.readUnshared（），因此它部分地解决了这个问题。当我将内存从2048增加到4096时，它开始解析文件。 BufferedInputStream已在使用中。从网上我只找到了如何读取行或字节的示例，但没有关于对象，性能方面的任何内容。

如何在不增加JVM内存和避免OutOfMemory异常的情况下读取文件？有没有办法从文件中读取对象，而不是在内存中保留其他内容？

Answer 1

当阅读大文件，解析对象并将它们保存在内存中时，有几种解决方案有几种权衡：

您可以将所有已解析的对象放入部署在一台服务器上的该应用程序的内存中。它要么以非常压缩的方式存储所有对象，例如使用字节或整数来存储2个数字或在其他数据结构中存在某种移位。换句话说，将所有对象安装在可能的最小空间中。或者增加该服务器的内存（垂直扩展）

a）然而，读取文件会占用太多内存，因此您必须以块的形式阅读它们。例如，这就是我用json文件做的事情：
```
JsonReader reader = new JsonReader(new InputStreamReader(in, "UTF-8"));
    if (reader.hasNext()) {
        reader.beginObject();
        String name = reader.nextName();

        if ("content".equals(name)) {
            reader.beginArray();

            parseContentJsonArray(reader, name2ContentMap);

            reader.endArray();
        }
        name = reader.nextName();
        if ("ad".equals(name)) {
            reader.beginArray();

            parsePrerollJsonArray(reader, prerollMap);

            reader.endArray();
        }
    }
```
这个想法是有一种方法来识别某个对象何时开始和结束，并只读取该部分。

b）如果可以，您也可以在源头将文件拆分为较小的文件，然后更容易阅读。
您无法在一台服务器上容纳该应用的所有已解析对象。在这种情况下，您必须根据某些对象属性进行分片。例如，将基于美国州的数据拆分为多个服务器。

希望它有助于您的解决方案。

如何在Java

1 个答案: