JSoup没有关注重定向，也没有获取某些URL的所有内容

Question

Android上的JSoup没有关注重定向和/或没有获取所有内容，即使我使用mobile.twitter.com。我知道我可能不知道自己做错了什么。

我尝试过的网址是

https://mobile.twitter.com/BillGates/status/493831856781926402

https://twitter.com/BillGates/status/493831856781926402

private Document getWebPage(String url) {
        Document doc = null;        
        try {
            doc = Jsoup.connect(url).get();
        } catch (IOException e) {
            e.printStackTrace();
        }
        Log.d(TAG, "Received site: " + doc.html()); // TODO delete this debug line when done
        return doc;
    }

Answer 1

正如Daniel B所说，弄清楚正确的UserAgent用于正确地遵循重定向/从URL获取所有内容。

我使用的最好的UserAgent已在下面。

Document doc = Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.120 Safari/535.2").get();