go中的HTTP代理

时间:2014-08-25 00:01:20

标签: http proxy go

我正在编写一个简单的代理,将HTTP请求转发给一个或多个后端服务器。现在我仍然只使用一个后端服务器,但性能不好,我确定我做错了什么。可能与我将HTTP请求发送到另一台服务器的方式有关:如果我对send()的呼叫发表评论,那么服务器会快速超速,产生超过14 krps的速度。虽然调用send()性能下降到小于1 krps,但随着时间的推移下降甚至更低。这在MacBook Pro上。

代码基于简单的代码示例;我创建了client并按照docs中的建议重新使用了它。使用Apache ab进行测试:

$ ab -n 10000 -c 10 -k "http://127.0.0.1:8080/test"

在端口55455上运行的后端服务器在实验之间不会改变;可以使用Apache或nginx。我的自定义Web服务器直接测量时产生的速度超过7 krps,没有代理:

$ ab -n 10000 -c 10 -k "http://127.0.0.1:55455/test"

我希望代理版本的行为与非代理版本一样好,并且随着时间的推移保持性能。

完整的示例代码如下。

package main

import (
        "fmt"
        "log"
        "net/http"
        )

func main() {

        tr := &http.Transport{
                DisableCompression: true,
                DisableKeepAlives: false,
        }
        client := &http.Client{Transport: tr}

        http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {

                send(r, client)
                fmt.Fprintf(w, "OK")
        })
        log.Fatal(http.ListenAndServe(":8080", nil))
}

func send(r *http.Request, client *http.Client) int {

        req, err := http.NewRequest("GET", "http://localhost:55455" + r.URL.Path, nil)
        if err != nil {
                log.Fatal(err)
                return 0
        }       
        resp, err := client.Do(req)
        if err != nil {
                log.Fatal(err)
                return 0
        }       
        if resp == nil {
                return 0
        }       
        return 1
}       

最终代码应该将请求发送到多个服务器并处理它们的答案,并返回带有结果的int。但我一直坚持只是打电话这一步。

我在做什么可怕的错误?

1 个答案:

答案 0 :(得分:7)

正如评论所暗示的,你应该返回(和处理)类型错误而不是整数,并重申,不要使用AB。对我来说最重要的是

  1. 您应在MaxIdleConnsPerHost中设置Transport。这表示即使他们目前无事可做,仍有多少连接会保持(保持活动状态)。
  2. 必须阅读并关闭响应正文才能将其返回到池中。

  3. ...
    resp, err := client.Do(req)
    if err != nil {
        return err
    }
    responseBody, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        return err
    }
    defer resp.Body.Close()
    ...