框架GoColly-重定向到HTTPS不起作用

时间:2018-11-16 23:38:42

标签: go

我正在使用GoColly框架来获取某些url的正文。现在,我正在测试Netflix网站,下面有此代码

u = "http://netflix.com"
uri, err := url.Parse(u)
if err != nil {
    fmt.Println(err.Error())
    continue
}

c := colly.NewCollector()
c.AllowedDomains = []string{"netflix.com"}

c.OnResponse(func(r *colly.Response) {
    q.r.Set("success:"+u, string(r.Body))
})
c.OnError(func(r *colly.Response, err error) {
    log.Println(err.Error())
    q.r.Set("failed:"+u, err.Error())
})

c.Visit(uri.String())
c.Wait()

,当我执行它时,会重新出现此错误 获取https://www.netflix.com/:不跟随重定向到www.netflix.com,因为它不在AllowedDomains中

有什么想法吗?

1 个答案:

答案 0 :(得分:0)

您在c.AllowedDomains = []string{"netflix.com"}处指定了没有www子域的域,这就是在允许的域中找不到的重传地址。

c.AllowedDomains = []string{"www.netflix.com"}