Question

什么是最有效的通用阅读方式＆＃34;大＆＃34;文件（可能是文本或二进制文件），而不进入unsafe区域？当我在网上搜索＆＃34;以大块方式读取大文件时，我感到惊讶的是很少有相关结果。

例如，我的一个用例是使用rust-crypto计算文件的MD5校验和（Md5模块允许您迭代地添加&[u8]块。

这是我所拥有的，它似乎比read_to_end等其他方法表现稍好一些：

use std::{
    fs::File,
    io::{self, BufRead, BufReader},
};

fn main() -> io::Result<()> {
    const CAP: usize = 1024 * 128;
    let file = File::open("my.file")?;
    let mut reader = BufReader::with_capacity(CAP, file);

    loop {
        let length = {
            let buffer = reader.fill_buf()?;
            // do stuff with buffer here
            buffer.len()
        };
        if length == 0 {
            break;
        }
        reader.consume(length);
    }

    Ok(())
}

Answer 1

我认为你不能比那更有效地编写代码。 fill_buf BufReader File上的BufReader为basically just a straight call to read(2)。

那就是说，file.read(&mut buf)当你像那样使用它时，它并不是一个真正有用的抽象;

在不将整个文件一次加载到内存中的情况下，以块的形式读取大文件的最有效方法是什么？

1 个答案: