Question

我使用golang gzip.NewWriter压缩切片，并使用defer Close()关闭编写器。但是，当从压缩数据中读取数据时，它将返回unexpected EOF。代码是：

func main() {

    a := []byte{'a', 'b', 'c', 'd', 'e', 'f'}
    zippedData, err := zipData(a)
    if err != nil {
        panic(err)
    }

    unzippedData, err := unzipData(zippedData)
    if err != nil {
        panic(err)
    }
    fmt.Printf("%v\n", unzippedData)

}

zip功能是：

func zipData(originData []byte) ([]byte, error) {
    var bf bytes.Buffer
    gw := gzip.NewWriter(&bf)

    defer gw.Close()

    _, err := gw.Write(originData)
    if err != nil {
        return nil, errors.New(fmt.Sprintf("gzip data err: %v", err))
    }

    err = gw.Flush()
    if err != nil {
        return nil, err
    }
    // if I rm 'defer gw.Close()' and call 'gw.Close()' here, it'll be ok

    logs.Debug("before gzip len: %v", len(originData))
    logs.Debug("gzip len: %v", bf.Len())
    return bf.Bytes(), nil
}

上述zip函数使用defer gw.Close()关闭gw。

解压缩功能是：

func unzipData(zippedData []byte) ([]byte, error) {
    dst := make([]byte, len(zippedData))
    copy(dst, zippedData)

    reader, err := gzip.NewReader(bytes.NewBuffer(dst))
    if err != nil {
        return nil, errors.New(fmt.Sprintf("unzip err :%v", err))
    }

    defer reader.Close()

    data, err := ioutil.ReadAll(reader)
    if err != nil {
        return nil, errors.New(fmt.Sprintf("read err :%v", err))
    }
    return data, err
}

为什么有defer gw.Close()个案例unexpected EOF？

Answer 1

使用defer，您会丢失gzip页脚。根据{{1}}文档：

Close通过将所有未写入的数据刷新到基础io.Writer并写入GZIP页脚来关闭Writer。它不会关闭底层的io.Writer。

因此，即使Close刷新了所有缓冲的数据，也不会写入页脚。延迟关闭后，您将获得不包含页脚的字节数组并将其返回，然后将页脚写入输出。

在返回之前关闭编写器。

Answer 2

对于defer，gw.Close()在return语句中的bf.Bytes()调用之后运行。为了确保返回完整的内容，您应在尝试从缓冲区读取字节之前显式调用gw.Close。

您的代码最简单的解决方法是将Flush调用替换为Close调用。 Flush适用于您尚未写完但已完成压缩的情况，因此调用Close就足够了。

延迟关闭gzip writer将导致数据丢失

2 个答案: