使用http.client

时间:2015-04-24 06:38:55

标签: go http.client

我学会了这个恐慌错误......并且工作了一段时间,但很快就会遇到这样的异常panic: runtime error: invalid memory address or nil pointer dereference

该函数简单地遍历代理映射,直到它成功获取“地址”的内容。它一定不是非常惯用,特别是使用地图而不是切片和最后一次回归,但我希望这不是恐慌的原因...... 如果我遗漏了一些可能重要的东西,请告诉我,我会更新帖子,我只是不想用不必要的信息充斥它。 proxies是一个带有map字段的结构,其中包含用于并发安全读取/删除的方法。

func getContent(address string) string {
localProxies := proxies.Get()
for proxy := range localProxies {
    proxyUrl, _ := url.Parse("http://" + proxy)

    transport := http.Transport{
        Dial:  dialTimeout,
        Proxy: http.ProxyURL(proxyUrl),
    }
    httpClient := http.Client{Transport: &transport, Timeout: timeout}
    req, err := http.NewRequest("GET", address, nil)
    if err != nil {
        fmt.Println("Request error: ", err.Error())
    }
    req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0")
    res, err := httpClient.Do(req)
    defer res.Body.Close()

    if err != nil {
        //          fmt.Println("Broken ", proxy)
        fmt.Println("Response error: ", err.Error())
        proxies.Del(proxy)
        continue
    }
    if res.StatusCode != 200 {
        //          fmt.Println("Status error: ", res.Status)
        proxies.Del(proxy)
        continue
    }
    out, err := ioutil.ReadAll(res.Body)
    if err != nil {
        fmt.Println("Read error: ", err.Error())
        proxies.Del(proxy)
        continue
    }
    return string(out)
}
return "error"

}

go version go1.4.2 linux/amd64

1 个答案:

答案 0 :(得分:4)

在我看到更多信息之前,这只是基于我从您发布的代码中收集的信息进行猜测。

电话

res.Body.Close()

应该在您检查错误之后,而不是之前。所以改变:

 res, err := httpClient.Do(req)
 defer res.Body.Close()
 if err != nil {
     ...
 }

 res, err := httpClient.Do(req)
 if err != nil {
     ...
 }
 defer res.Body.Close()