为什么Golang http.ResponseWriter执行被延迟?

时间:2018-01-15 17:03:50

标签: http go server-push

我正在尝试在收到请求后立即发送页面响应,然后处理某些内容,但我发现响应没有被发送出来"首先"即使它是代码序列中的第一个。在现实生活中,我有一个用于上传excel表的页面,该页面被保存到数据库中,需要时间(50,0000+行)并且想要更新到用户进度。这是一个简化的例子; (根据你有多少RAM你可能需要添加几个零来反击看结果)

package main

import (
    "fmt"
    "net/http"
)

func writeAndCount(w http.ResponseWriter, r *http.Request) {
    w.Write([]byte("Starting to count"))

    for i := 0; i < 1000000; i++ {

        if i%1000 == 0 {
            fmt.Println(i)
        }
    }
    w.Write([]byte("Finished counting"))

}

func main() {
    http.HandleFunc("/", writeAndCount)
    http.ListenAndServe(":8080", nil)

}

2 个答案:

答案 0 :(得分:5)

您可以检查ResponseWriter是否为http.Flusher,如果是,则强制刷新到网络:

if f, ok := w.(http.Flusher); ok {
    f.Flush()
}

但是,请记住,这是一个非常规的HTTP处理程序。将进度消息流式传输到响应就好像它是一个终端会出现一些问题,特别是如果客户端是Web浏览器。

您可能需要考虑更符合HTTP性质的内容,例如立即返回202 Accepted响应,并使用唯一标识符,客户端可以使用该标识符检查使用后续API调用的处理状态

答案 1 :(得分:2)

HTTP protocol的原始概念是一个简单的请求 - 响应服务器 - 客户端计算模型。没有流式或“连续”客户端更新支持。如果客户需要某种信息,它始终是首先联系服务器的客户。

此外,由于大多数Web服务器在响应完全就绪之前缓存响应(或达到某个限制 - 通常是缓冲区大小),因此您写入(发送)到客户端的数据将不会立即传输。

“开发”了几种技术来解决这个“限制”,以便服务器能够通知客户端有关更改或进度的信息,例如HTTP长轮询,HTTP流,HTTP / 2服务器推送或Websockets。您可以在此答案中详细了解这些内容:Is there a real server push over http?

因此,要实现您想要的目标,您必须绕过HTTP协议的原始“边界”。

如果要定期发送数据或将数据流式传输到客户端,则必须告知服务器。最简单的方法是检查递送给您的http.ResponseWriter是否实现http.Flusher界面(使用type assertion),如果是,则调用其Flusher.Flush()方法将发送任何缓冲数据到客户端。

使用http.Flusher只是解决方案的一半。由于这是HTTP协议的非标准用法,因此通常还需要客户端支持才能正确处理此问题。

首先,您必须通过设置ContentType=text/event-stream响应标头让客户了解响应的“流式传输”性质。

接下来,为避免客户端缓存响应,请务必同时设置Cache-Control=no-cache

最后,让客户端知道您可能不会将响应作为单个单元发送(而是作为定期更新或作为流),以便客户端应保持连接处于活动状态并等待更多数据, Connection=keep-alive响应标题。

如上所述设置响应标头后,您可以开始长时间的工作,每当您想要更新客户端有关进度时,请写一些数据并致电Flusher.Flush()

让我们看一个简单的例子,它可以做到“正确”:

func longHandler(w http.ResponseWriter, r *http.Request) {
    flusher, ok := w.(http.Flusher)
    if !ok {
        http.Error(w, "Server does not support Flusher!",
            http.StatusInternalServerError)
        return
    }

    w.Header().Set("Content-Type", "text/event-stream")
    w.Header().Set("Cache-Control", "no-cache")
    w.Header().Set("Connection", "keep-alive")

    start := time.Now()
    for rows, max := 0, 50*1000; rows < max; {
        time.Sleep(time.Second) // Simulating work...
        rows += 10 * 1000
        fmt.Fprintf(w, "Rows done: %d (%d%%), elapsed: %v\n",
            rows, rows*100/max, time.Since(start).Truncate(time.Millisecond))
        flusher.Flush()
    }
}

func main() {
    http.HandleFunc("/long", longHandler)
    panic(http.ListenAndServe("localhost:8080", nil))
}

现在,如果您在浏览器中打开http://localhost:8080/long,您会看到每秒输出“增长”:

Rows done: 10000 (20%), elapsed: 1s
Rows done: 20000 (40%), elapsed: 2s
Rows done: 30000 (60%), elapsed: 3s
Rows done: 40000 (80%), elapsed: 4.001s
Rows done: 50000 (100%), elapsed: 5.001s

另请注意,使用SSE时,应将更新“打包”到SSE帧中,即应使用"data:"前缀启动它们,并使用2个换行符结束每个帧:"\n\n"。< / p>

“文学”和进一步阅读/教程

详细了解Server-sent events on Wikipedia

查看Golang HTML5 SSE example

请参阅Golang SSE server example with client codes using it

请参阅w3school.com的Server-Sent Events - One Way Messaging上的文章。