内存不足java堆空间

时间:2014-07-16 10:49:36

标签: java file split

我正在尝试从服务器向多个客户端发送文件块。当我尝试发送大小为700mb的文件时,它显示“OutOfMemory java heap space”错误。我使用的是Netbeans 7.1.2版本。  我还在属性中尝试了VMoption。但仍然会发生同样的错误。我认为阅读整个文件存在一些问题。下面的代码最高可达300mb。请给我一些建议。

提前致谢

public class SplitFile {   
    static int fileid = 0  ;

    public static DataUnit[] getUpdatableDataCode(File fileName) throws FileNotFoundException, IOException{

    int i = 0;
    DataUnit[] chunks = new DataUnit[UAProtocolServer.singletonServer.cloudhosts.length];

    FileInputStream fis;

    long Chunk_Size = (fileName.length())/chunks.length;
    int cursor = 0;

    long fileSize = (long) fileName.length();
    int nChunks = 0, read = 0;long readLength = Chunk_Size;
    byte[] byteChunk;

    try {
        fis = new FileInputStream(fileName);
        //StupidTest.size = (int)fileName.length();
        while (fileSize > 0) {
            System.out.println("loop"+ i);
            if (fileSize <= Chunk_Size) {
                readLength = (int) fileSize;
            }
            byteChunk = new byte[(int)readLength];
            read = fis.read(byteChunk, 0, (int)readLength);
            fileSize -= read;
           // cursor += read;
            assert(read==byteChunk.length);                                          
            long aid = fileid;
            aid = aid<<32 | nChunks;                
            chunks[i] = new DataUnit(byteChunk,aid);                

         //   Lister.add(chunks[i]);
            nChunks++;
            ++i;                       
        }
        fis.close();
        fis = null;

      }catch(Exception e){
            System.out.println("File splitting exception");
        e.printStackTrace();
    }

       return chunks;               
    }

2 个答案:

答案 0 :(得分:1)

读取整个文件肯定会在文件大小增加时触发OutOfMemoryError。调整-Xmx1024M可能适用于临时修复,但它绝对不是正确/可扩展的解决方案。另外,如何移动变量并不重要(比如在循环外部而不是在循环内部创建缓冲区),迟早会得到OutOfMemoryError。不为你获取OutOfMemoryError的唯一方法是不读取内存中的完整文件。

如果你只需要使用内存,那么一种方法是将块发送给客户端,这样你就不必将所有块保留在内存中:

而不是:

chunks[i] = new DataUnit(byteChunk,aid);

做的:

sendChunkToClient(new DataUnit(byteChunk, aid));

但是上述解决方案的缺点是,如果在块发送之间发生了一些错误,您可能很难尝试从错误点恢复/恢复。

将块保存到像Ross Drew建议的临时文件可能更好,更可靠。

答案 1 :(得分:0)

如何创建

byteChunk = new byte[(int)readLength];

在循环之外,只是重复使用它而不是一遍又一遍地创建一个字节数组,如果它总是相同的。

<强>替代地

您可以将传入的数据写入临时文件,而不是维护那个庞大的数组,然后一旦到达就处理它。

同时

如果你多次使用它作为一个int,你可能只需将readLength作为循环外的一个int

int len = (int)readLength;

Chunk_Size是变量吗?它应该以小写字母开头。