JSOUP被阻止:返回HTTPStatusException

时间:2017-08-29 03:10:25

标签: java web-scraping jsoup

我一直在获取HTTPStatusExceptions,无论是500/502/503,甚至是522.我猜我的IP已被列入黑名单?我有什么选择可以改善这种情况?

我注意到,在实际浏览网站时,需要永远加载,并且尝试查看源代码实际上是超时的。

public Document getTPBDocument(String searchField) throws IOException {

Connection.Response response =  Jsoup.connect("https://thepiratebay.org/search/" + searchField + "/0/99/0").userAgent("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.21 (KHTML, like Gecko) Chrome/19.0.1042.0 Safari/535.21")
            .referrer("http://www.google.com")
            .timeout(30000)
            .followRedirects(true)
            .header("Content-Type", "application/json;charset=UTF-8")
            .execute();
    return response.parse();

}

0 个答案:

没有答案