gzip压缩到http responseWriter

时间:2016-08-24 01:06:59

标签: json rest http go gzip

我是Go的新手。但我正在玩REST Api。我无法从json.Marshal中获得与json.Encoder相同的行为,我有两个函数

我想使用此功能来gzip我的回复:

locations
    .foldLeft(mutable.Map.empty[Int, UserLocation]) {
      case (acc, loc)
        if !acc.contains(loc.id) ||
          acc(loc.id).dateTime < loc.dateTime => acc.updated(loc.id, loc)
      case (acc, _) => acc
    }.map(_._2)

但是这个函数会返回:

func gzipFast(a *[]byte) []byte {
    var b bytes.Buffer
    gz := gzip.NewWriter(&b)
    defer gz.Close()
    if _, err := gz.Write(*a); err != nil {
        panic(err)
    }
    return b.Bytes()
}

这是go函数:

curl http://localhost:8081/compressedget --compressed --verbose
*   Trying 127.0.0.1...
* Connected to localhost (127.0.0.1) port 8081 (#0)
> GET /compressedget HTTP/1.1
> Host: localhost:8081
> User-Agent: curl/7.47.0
> Accept: */*
> Accept-Encoding: deflate, gzip
> 
< HTTP/1.1 200 OK
< Content-Encoding: gzip
< Content-Type: application/json
< Date: Wed, 24 Aug 2016 00:59:38 GMT
< Content-Length: 30
< 
* Connection #0 to host localhost left intact

但是当我取消注释时:

func CompressedGet(w http.ResponseWriter, r *http.Request, ps  httprouter.Params) {

    box := Box{Width: 10, Height: 20, Color: "gree", Open: false}
    box.ars = make([]int, 100)
    for i := range box.ars {
        box.ars[i] = i
    }
    //fmt.Println(r.Header.Get("Content-Encoding"))

    w.Header().Set("Content-Type", "application/json")
    w.Header().Set("Content-Encoding", "gzip")
    b, _ := json.Marshal(box)
    //fmt.Println(len(b))
    //fmt.Println(len(gzipFast(&b)))

    fmt.Fprint(w, gzipFast(&b))
    //fmt.Println(len(gzipSlow(b)))
    //gz := gzip.NewWriter(w)
    //defer gz.Close()
    //json.NewEncoder(gz).Encode(box)
    r.Body.Close()

}

它工作正常。

3 个答案:

答案 0 :(得分:1)

我认为问题在于使用fmt.Fprint(w, gzipFast(&b))

如果你看一下gzipFast的定义,它会返回一个[]byte。您将此切片放入打印功能,即将所有内容“打印”到w

如果你看一下io.Writer的定义:

type Writer interface {
        Write(p []byte) (n int, err error) }

您看到作者可以处理[]byte作为输入。

而不是fmt.Fprint(w, gzipFast(&b)),您应该使用w.Write(gzipFast(&b))。然后你不需要取消注释:

//gz := gzip.NewWriter(w)
//defer gz.Close()
//json.NewEncoder(gz).Encode(box)

所有内容都是一个小例子,它显示了代码中发生的事情:

https://play.golang.org/p/6rzqLWTGiI

答案 1 :(得分:1)

在访问基础字节之前,您需要刷新或关闭gzip writer,例如

func gzipFast(a *[]byte) []byte {
    var b bytes.Buffer
    gz := gzip.NewWriter(&b)
    if _, err := gz.Write(*a); err != nil {
        gz.Close()
        panic(err)
    }
    gz.Close()
    return b.Bytes()
}

否则gzip编写器中的缓冲区是什么,但尚未写入最终流中的内容未被收集。

答案 2 :(得分:0)

我会避免手动gzip-ing []byte。您可以轻松使用标准库中已有的编写器。另外,看看我认为应该使用的compress/flate而不是gzip。

package main

import (
    "net/http"
    "encoding/json"
    "compress/gzip"
    "log"
)

type Box struct {
    Width int `json:"width"`
}

func writeJsonResponseCompressed(w http.ResponseWriter, r *http.Request) {

    box := &Box{Width: 10}

    w.Header().Set("Content-Type", "application/json")
    w.Header().Set("Content-Encoding", "gzip")

    body, err := json.Marshal(box)
    if err != nil {
        // Your error handling
        return
    }

    writer, err := gzip.NewWriterLevel(w, gzip.BestCompression)
    if err != nil {
        // Your error handling
        return
    }

    defer writer.Close()

    writer.Write(body)
}

func main() {
    http.HandleFunc("/compressedget", writeJsonResponseCompressed)
    log.Fatal(http.ListenAndServe(":8081", nil))
}