HttpURLConnection - >获取旧版网页

时间:2014-12-23 15:51:44

标签: java web-crawler httpurlconnection

我使用Java HttpURLConnection的方法'setProperty'来抓取网页。

我已设置'用户代理',但我收到了网站的旧版网页

我可以通过Chrome访问新版本

通过我的手机我得到了旧版本

您是否有一些建议或一些可能的解决方案来获得Java HttpURLConnection的新版本?

非常感谢你!

代码:

            URL url = new URL(URL);
            conn = (HttpURLConnection) url.openConnection();
            conn.setDoOutput(false);
            conn.setUseCaches(false);
            conn.setRequestMethod("GET");
            conn.setRequestProperty("Connection", "keep-alive");
            conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1)             AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.57 Safari/537.36");
            conn.setRequestProperty("Accept-Charset", ENCODE);
            conn.setRequestProperty("contentType", ENCODE);
            conn.setConnectTimeout(30000);
            conn.setReadTimeout(30000);
            conn.connect();

0 个答案:

没有答案