我正在使用GoColly框架来获取某些url的正文。现在,我正在测试Netflix网站,下面有此代码
u = "http://netflix.com"
uri, err := url.Parse(u)
if err != nil {
fmt.Println(err.Error())
continue
}
c := colly.NewCollector()
c.AllowedDomains = []string{"netflix.com"}
c.OnResponse(func(r *colly.Response) {
q.r.Set("success:"+u, string(r.Body))
})
c.OnError(func(r *colly.Response, err error) {
log.Println(err.Error())
q.r.Set("failed:"+u, err.Error())
})
c.Visit(uri.String())
c.Wait()
,当我执行它时,会重新出现此错误 获取https://www.netflix.com/:不跟随重定向到www.netflix.com,因为它不在AllowedDomains中
有什么想法吗?
答案 0 :(得分:0)
您在c.AllowedDomains = []string{"netflix.com"}
处指定了没有www
子域的域,这就是在允许的域中找不到的重传地址。
c.AllowedDomains = []string{"www.netflix.com"}