我使用Java HttpURLConnection的方法'setProperty'来抓取网页。
我已设置'用户代理',但我收到了网站的旧版网页
我可以通过Chrome访问新版本
通过我的手机我得到了旧版本
您是否有一些建议或一些可能的解决方案来获得Java HttpURLConnection的新版本?
非常感谢你!
代码:
URL url = new URL(URL);
conn = (HttpURLConnection) url.openConnection();
conn.setDoOutput(false);
conn.setUseCaches(false);
conn.setRequestMethod("GET");
conn.setRequestProperty("Connection", "keep-alive");
conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.57 Safari/537.36");
conn.setRequestProperty("Accept-Charset", ENCODE);
conn.setRequestProperty("contentType", ENCODE);
conn.setConnectTimeout(30000);
conn.setReadTimeout(30000);
conn.connect();