我正在尝试使用带有URLConnection的Java解析网页。我尝试像这样设置用户代理:
java.net.URLConnection c = url.openConnection();
c.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");
但是生成的用户代理是我指定的用户代理,末尾附加了“Java / 1.5.0_19”。有没有办法在没有这个添加的情况下真正设置用户代理?
答案 0 :(得分:87)
只是为了澄清:setRequestProperty工作正常!至少使用Java 1.6.30。
我用netcat(一个端口监听器)在我的机器上监听:
$ nc -l -p 8080
它只是监听端口,因此您可以看到任何请求的内容,例如原始的http-headers。
并且没有setRequestProperty得到以下http标头:
GET /foobar HTTP/1.1
User-Agent: Java/1.6.0_30
Host: localhost:8080
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2
Connection: keep-alive
使用setRequestProperty:
GET /foobar HTTP/1.1
User-Agent: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2
Host: localhost:8080
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2
Connection: keep-alive
如您所见,用户代理已正确设置。
完整示例:
import java.io.IOException;
import java.net.URL;
import java.net.URLConnection;
public class TestUrlOpener {
public static void main(String[] args) throws IOException {
URL url = new URL("http://localhost:8080/foobar");
URLConnection hc = url.openConnection();
hc.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");
System.out.println(hc.getContentType());
}
}
答案 1 :(得分:59)
关闭,将http.agent
系统属性设置为""
可能会解决问题(我没有代码在我面前)。
你可能会逃避:
System.setProperty("http.agent", "");
但是如果它在启动时缓存了值(实际上,我认为它没有),那么可能需要在您和URL协议处理程序的初始化之间进行竞争。
该属性也可以通过JNLP文件(可用于6u10的applet)和命令行设置:
-Dhttp.agent=
或者对于包装器命令:
-J-Dhttp.agent=
答案 2 :(得分:7)
略有改变Tom Hawtins回答:
System.setProperty("http.agent", "");
答案 3 :(得分:3)
它为我工作 在addRequestProperty中设置User-Agent。
URL url = new URL(<URL>);
HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
httpConn.addRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0");
答案 4 :(得分:1)
HTTP服务器倾向于拒绝旧的浏览器和系统。
页面 Tech Blog (wh): Most Common User Agents在“您的用户代理是:” 部分中反映了当前浏览器的用户代理属性,该属性可用于设置请求属性“用户代理” java.net.URLConnection
或系统属性“ http.agent”。