Question

我正在使用hyper下载XZ文件，我想通过从每个传入的Chunk中提取尽可能多的内容并将其立即写入磁盘，以解压缩的形式将其保存到磁盘，而不是先下载整个文件然后解压缩。

有一个实现XZ格式的xz2条板箱。但是，其XzDecoder似乎不支持Python-like decompressobj模型，在此模型中，调用者反复提供部分输入并获得部分输出。

相反，XzDecoder通过Read参数接收输入字节，我不确定如何将这两件事粘合在一起。有没有办法将Response馈送到XzDecoder？

到目前为止，我发现的唯一线索是这个issue，它包含对私有ReadableChunks类型的引用，我可以从理论上在我的代码中复制它-但也许有更简单的方法吗？

Answer 1

XzDecoder似乎不支持类似Python的decompressobj模型，在该模型中，调用者反复提供部分输入并获得部分输出

有xz2::stream::Stream可以完全满足您的需求。非常粗糙的未经测试的代码，需要适当的错误处理等，但我希望您能明白：

fn process(body: hyper::body::Body) {
    let mut decoder = xz2::stream::Stream::new_stream_decoder(1000, 0).unwrap();
    body.for_each(|chunk| {
        let mut buf: Vec<u8> = Vec::new();
        if let Ok(_) = decoder.process_vec(&chunk, &mut buf, Action::Run) {
            // write buf to disk
        }
        Ok(())
    }).wait().unwrap();
}

Answer 2

基于@Laney's answer，我想到了以下工作代码：

extern crate failure;
extern crate hyper;
extern crate tokio;
extern crate xz2;

use std::fs::File;
use std::io::Write;
use std::u64;

use failure::Error;
use futures::future::done;
use futures::stream::Stream;
use hyper::{Body, Chunk, Response};
use hyper::rt::Future;
use hyper_tls::HttpsConnector;
use tokio::runtime::Runtime;

fn decode_chunk(file: &mut File, xz: &mut xz2::stream::Stream, chunk: &Chunk)
                -> Result<(), Error> {
    let end = xz.total_in() as usize + chunk.len();
    let mut buf = Vec::with_capacity(8192);
    while (xz.total_in() as usize) < end {
        buf.clear();
        xz.process_vec(
            &chunk[chunk.len() - (end - xz.total_in() as usize)..],
            &mut buf,
            xz2::stream::Action::Run)?;
        file.write_all(&buf)?;
    }
    Ok(())
}

fn decode_response(mut file: File, response: Response<Body>)
                   -> impl Future<Item=(), Error=Error> {
    done(xz2::stream::Stream::new_stream_decoder(u64::MAX, 0)
        .map_err(Error::from))
        .and_then(|mut xz| response
            .into_body()
            .map_err(Error::from)
            .for_each(move |chunk| done(
                decode_chunk(&mut file, &mut xz, &chunk))))
}

fn main() -> Result<(), Error> {
    let client = hyper::Client::builder().build::<_, hyper::Body>(
        HttpsConnector::new(1)?);
    let file = File::create("hello-2.7.tar")?;
    let mut runtime = Runtime::new()?;
    runtime.block_on(client
        .get("https://ftp.gnu.org/gnu/hello/hello-2.7.tar.xz".parse()?)
        .map_err(Error::from)
        .and_then(|response| decode_response(file, response)))?;
    runtime.shutdown_now();
    Ok(())
}

如何动态地从hyper :: Response解压缩XZ数据？

2 个答案: