Question

我写了一个golang程序，在过去的几个月里在ubuntu 12.04 LTS中运行良好，直到我升级到14.04 LTS

我的程序专注于发送HTTP请求，每秒发送大约2-10个HTTP请求。 HTTP请求地址各不相同。

问题发生时，首先，部分请求会显示read tcp [ip]:[port]: i/o timeout，然后几分钟后所有请求都会显示read tcp [ip]:[port]: i/o timeout，而不会发送任何请求。

我重启程序，一切都变得正确。

我们所有的服务器（2台服务器）在从12.04升级到14.04后都有这样的问题

我为每个请求创建了新的goroutine

问题不会在同一时间间隔内发生，有时一天或两天不会发生，有时会在一小时内发生两次

Bellow是我的代码，请求HTTP地址：

t := &http.Transport{
    Dial:            timeoutDial(data.Timeout),
    TLSClientConfig: &tls.Config{InsecureSkipVerify: true},
}
//req := s.ParseReq(data)
req := data.convert2Request()
if req == nil {
    return
}

var resp *http.Response
if data.Redirect {
    c := &http.Client{
        Transport: t,
    }
    resp, err = c.Do(req)
} else {
    resp, err = t.RoundTrip(req)
}

data.updateTry()

r := s.ParseResp(data, resp, err)

updateTry：

func (d *SendData) updateTry() {
    d.Try++
    d.LastSend = time.Now()
}

timeoutDial：

func timeoutDial(timeout int) func(netw, addr string) (net.Conn, error) {
    if timeout <= 0 {
        timeout = 10
    }
    return func(netw, addr string) (net.Conn, error) {
        deadline := time.Now().Add(time.Duration(timeout) * time.Second)
        c, err := net.DialTimeout(netw, addr, time.Second*time.Duration(timeout+5))
        if err != nil {
            return nil, err
        }
        c.SetDeadline(deadline)
        return c, nil
    }
}

和我处理的回应是：

func (s *Sender) ParseResp(data SendData, resp *http.Response, err error) (r Resp) {
    r = Resp{URL: data.URL}
    if err != nil {
        r.Err = err.Error()
    } else {
        r.HttpCode = resp.StatusCode
        r.Header = resp.Header
        r.URL = resp.Request.URL.String()
        defer resp.Body.Close()
        // we just read part of response and log it.
        reader := bufio.NewReader(resp.Body)
        buf := make([]byte, bytes.MinRead) // 512 byte
        for len(r.Body) < 1024 {           // max 1k
            var n int
            if n, _ = reader.Read(buf); n == 0 {
                break
            }
            r.Body += string(buf[:n])
        }
    }
    return
}

我还发现在/etc/sysctl.conf中设置可以减少问题：

net.core.somaxconn = 65535
net.netfilter.nf_conntrack_max = 655350
net.netfilter.nf_conntrack_tcp_timeout_established = 1200

我需要帮助来解决这个问题。

看起来像这样，但我没有看到任何解决方案https://bugs.launchpad.net/juju-core/+bug/1307434

Answer 1

要更明确地说明Not_a_Golfer和OneOfOne所说的内容，当您完成响应时，您需要关闭已打开的连接（通过Body字段，即io.ReadCloser）。所以基本上，一个简单的方法是将与http请求相关的代码更改为：

var resp *http.Response
if data.Redirect {
    c := &http.Client{
        Transport: t,
    }
    resp, err = c.Do(req)
} else {
    resp, err = t.RoundTrip(req)
}
if err == nil {
    defer resp.Body.Close() // we need to close the connection
}

Answer 2

在没有看到代码timeoutDial的情况下，我的猜测是，当你完成连接时，你不会关闭连接。

golang获取大量读取tcp ip：ubuntu 14.04 LTS中的端口i / o超时

2 个答案: