HTTP错误提取URL。 Java中的Status = 403

时间:2018-11-16 05:48:31

标签: java web-scraping jsoup

我正在写一个小程序,我想从网站上获取一个元素。我遵循了许多教程,以学习如何使用jSoup编写此代码。我要打印的示例是“ 2018年11月19日星期一-3:00 pm至7:00 pm”。我遇到了错误

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403, URL=https://my.cs.ubc.ca/course/cpsc-210

这是我的代码:

public class WebPageReader {
private String url = "https://my.cs.ubc.ca/course/cpsc-210";
private Document doc;

public void readPage(){
    try {
        doc = Jsoup.connect(url).
                userAgent("Mozilla/5.0")
                .referrer("https://www.google.com").timeout(1000).followRedirects(true).get();
        Elements temp=doc.select("span.date-display-single");
        int i=0;
        for (Element officeHours:temp){
            i++;
            System.out.println(officeHours);
        }
    } catch (IOException e) {
        e.printStackTrace();
    }
  }
}

感谢您的帮助。

1 个答案:

答案 0 :(得分:1)

状态403表示your access is forbidden

请确保您有权访问https://my.cs.ubc.ca/course/cpsc-210

我尝试从浏览器访问https://my.cs.ubc.ca/course/cpsc-210。它返回错误页面。我认为您需要使用凭据才能访问它。