我从http服务获取数据,我想在运行中解压缩 。 这是我目前的做法:
resp, err := http.Get(url)
if err != nil {
logger.Fatalf("Can't fatch %s data. %v", url, err)
}
logger.Info("Fetched data from %s", url)
content_zipped, err := ioutil.ReadAll(resp.Body)
resp.Body.Close()
if err != nil {
logger.Fatal(err)
}
zip_reader, err := zip.NewReader(bytes.NewReader(content_zipped), int64(len(content_zipped)))
有没有办法解压resp.Body而不一次读取所有内容(6.行)?我的意思是 stream 字节。
答案 0 :(得分:10)
Zip档案需要随机访问才能读取,因此很难流式传输字节。特别是,请在此处查看zip.Reader.init的源代码:http://golang.org/src/pkg/archive/zip/reader.go?s=1265:1323#L59。
它做的第一件事是调用readDirectoryEnd
,它从文件的末尾读取。
您可以使用不同的压缩方法(例如,gzip)吗?然后,您可以使用gzip.NewReader(resp.Body)
来传输数据。
答案 1 :(得分:0)
您是否正在寻找类似以下的内容:
var ioReader io.Reader
buff := bytes.NewBuffer([]byte{})
size, err := io.Copy(buff, ioReader)
if err != nil {
return err
}
reader := bytes.NewReader(buff.Bytes())
// Open a zip archive for reading.
zipReader, err := zip.NewReader(reader, size)