Go http标准库中的内存泄漏?

时间:2014-01-12 21:41:56

标签: http memory-management memory-leaks go standard-library

让Go二进制文件实现http服务器:

package main

import (
    "net/http"
)

func main() {
    http.ListenAndServe(":8080", nil)
}

它将以约850 kb左右的内存开始。通过您的网络浏览器发送一些请求。观察它迅速上升到1 MB。如果你等待,你会发现它永远不会消失。现在用Apache Bench(使用下面的脚本)敲击它,看看你的内存使用量不断增加。一段时间后,它最终将达到8.2 MB左右的高原。

编辑:它似乎没有停在8.2,而是显着放慢速度。它目前处于9.2并仍在上升。

简而言之,为什么会发生这种情况?我使用了这个shell脚本:

while [ true ]
do
    ab -n 1000 -c 100 http://127.0.0.1:8080/
    sleep 1
end

在尝试深入研究时,我试图调整设置。我尝试使用r.Close = true关闭来阻止Keep-Alive。似乎没什么用。

我最初在尝试确定我正在编写的程序中是否存在内存泄漏时发现了这一点。它有很多http处理程序和I / O调用。检查后我已经关闭了所有数据库连接,我一直看到它的内存使用率上升。我的计划在 433 MB 附近达到稳定水平。

以下是Goenv的输出:

GOARCH="amd64"
GOBIN=""
GOCHAR="6"
GOEXE=""
GOHOSTARCH="amd64"
GOHOSTOS="darwin"
GOOS="darwin"
GOPATH="/Users/mark/Documents/Programming/Go"
GORACE=""
GOROOT="/usr/local/go"
GOTOOLDIR="/usr/local/go/pkg/tool/darwin_amd64"
TERM="dumb"
CC="clang"
GOGCCFLAGS="-g -O2 -fPIC -m64 -pthread -fno-caret-diagnostics -Qunused-arguments -fno-common"
CXX="clang++"
CGO_ENABLED="1"

1 个答案:

答案 0 :(得分:18)

在评论中提供的堆pprof中,您看起来正在通过gorilla/sessionsgorilla/context(几乎400 MB)泄漏内存。

请参阅此ML主题:https://groups.google.com/forum/#!msg/gorilla-web/clJfCzenuWY/N_Xj9-5Lk6wJ和此GH问题:https://github.com/gorilla/sessions/issues/15

这是一个泄漏速度非常快的版本:

package main

import (
    "fmt"
    // "github.com/gorilla/context"
    "github.com/gorilla/sessions"
    "net/http"
)

var (
    cookieStore = sessions.NewCookieStore([]byte("cookie-secret"))
)

func main() {
    http.HandleFunc("/", defaultHandler)
    http.ListenAndServe(":8080", nil)
}

func defaultHandler(w http.ResponseWriter, r *http.Request) {
    cookieStore.Get(r, "leak-test")
    fmt.Fprint(w, "Hi there")
}

这是一个清理并具有相对静态的RSS:

package main

import (
    "fmt"
    "github.com/gorilla/context"
    "github.com/gorilla/sessions"
    "net/http"
)

var (
    cookieStore = sessions.NewCookieStore([]byte("cookie-secret"))
)

func main() {
    http.HandleFunc("/", defaultHandler)
    http.ListenAndServe(":8080", context.ClearHandler(http.DefaultServeMux))
}

func defaultHandler(w http.ResponseWriter, r *http.Request) {
    cookieStore.Get(r, "leak-test")
    fmt.Fprint(w, "Hi there")
}