下载html时将jsoup屏蔽为浏览器

Question

是否可以屏蔽

Jsoup.connect("http://xyz.com").get().html();

作为浏览器调用网站？

我尝试构建壁纸下载工具，并在从服务器下载页面时遇到问题。

如果我下载页面，比如使用Firefox，将其上传到我的服务器，它会正确下载...

我认为它必须是一些基于浏览器的脚本防护，它不允许你自动解析页面...

Answer 1

尝试在请求中设置User-Agent header。例如：

String ua = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30";
Jsoup.connect("http://example.com").userAgent(ua).get().html();