Question

我正在使用GoColly框架来获取某些url的正文。现在，我正在测试Netflix网站，下面有此代码

u = "http://netflix.com"
uri, err := url.Parse(u)
if err != nil {
    fmt.Println(err.Error())
    continue
}

c := colly.NewCollector()
c.AllowedDomains = []string{"netflix.com"}

c.OnResponse(func(r *colly.Response) {
    q.r.Set("success:"+u, string(r.Body))
})
c.OnError(func(r *colly.Response, err error) {
    log.Println(err.Error())
    q.r.Set("failed:"+u, err.Error())
})

c.Visit(uri.String())
c.Wait()

，当我执行它时，会重新出现此错误 获取https://www.netflix.com/：不跟随重定向到www.netflix.com，因为它不在AllowedDomains中

有什么想法吗？

Answer 1

您在c.AllowedDomains = []string{"netflix.com"}处指定了没有www子域的域，这就是在允许的域中找不到的重传地址。

c.AllowedDomains = []string{"www.netflix.com"}

框架GoColly-重定向到HTTPS不起作用

1 个答案: