Question

我的文件大约为4MB，该文件只是一个包含普通键盘字符的ascii文件。我在java.io包中尝试了很多类来将文件内容读作字符串。逐个字符地读取它们（使用FileReader和BufferedReader）大约40秒，使用java.nio包（FileChannel和ByteBuffer）读取内容大约需要25秒。据我所知，这有点大多少时间。有人知道如何减少这种时间消耗大约10秒钟？甚至像使用C创建文件阅读器和从java调用这样的解决方案也可以。我使用下面的代码片段在22秒内读取4 MB文件 -

public static String getContents(File file) {
    try {
        if (!file.exists() && !file.isFile()) {
            return null;
        }
        FileInputStream in = new FileInputStream(file);
        FileChannel ch = in.getChannel();
        ByteBuffer buf = ByteBuffer.allocateDirect(512);            
        Charset cs = Charset.forName("ASCII");          
        StringBuilder sb = new StringBuilder();
        int rd;
        while ((rd = ch.read(buf)) != -1) {
            buf.rewind();
            CharBuffer chbuf = cs.decode(buf);
            for (int i = 0; i < chbuf.length(); i++) {
                sb.append(chbuf.get());
            }
            buf.clear();
        }
        String contents = sb.toString();
        System.out.println("File Contents:\n"+contents);
        return contents;
    } catch (Exception exception) {
        System.out.println("Error:\n" + exception.getMessage());
        return null;
    }
}

Answer 1

我无法想象您的硬件是什么，但4 MB文件应该不到0.1秒。

一次快速读取文件的方法是将其读入byte []

public static String readFileAsString(File file) {
    try {
        DataInputStream in = new DataInputStream(FileInputStream(file));
        byte[] bytes = new byte[(int) file.length()];
        in.readFully(bytes);
        in.close();
        return new String(bytes, 0); // ASCII text only.

    } catch (FileNotFoundException e) {
        return null;
    } catch (IOException e) {
        System.out.println("Error:\n" + e.getMessage());
        return null;
    }
}

public static void main(String... args) throws IOException {
    File tmp = File.createTempFile("deleteme", "txt");
    tmp.deleteOnExit();

    byte[] bytes = new byte[4 * 1024 * 1024];
    Arrays.fill(bytes, (byte) 'a');
    FileOutputStream fos = new FileOutputStream(tmp);
    fos.write(bytes);
    fos.close();

    long start = System.nanoTime();
    String s = readFileAsString(tmp);
    long time = System.nanoTime() - start;
    System.out.printf("Took %.3f seconds to read a file with %,d bytes%n",
            time / 1e9, s.length());
}

打印

Took 0.026 seconds to read a file with 4,194,304 bytes

如果你想更快地读取文件，我建议使用一个内存映射文件，因为它需要不到10毫秒，但在这种情况下这是过度杀死。

Answer 2

这里使用直接字节缓冲区没有任何好处。
您的缓冲区大小为512。使用至少4096。
在这里使用NIO没有什么好处。由于这是文本，我将使用BufferedReader。
将整个文件读入内存的基本目标是有缺陷的。它不会扩展，它已经使用了过多的内存。您应该设计一个策略来一次处理一行文件。

Answer 3

您可以增加缓冲区大小，例如2048或4096字节。

不要使用本机API，因为您不会像编译时间类型检查那样获得Java功能。

Java.io：性能调优

3 个答案: