Java HTTP GET请求提供403 Forbidden,但可以在浏览器中使用

时间:2014-05-03 14:07:34

标签: java http get

我有一些代码,用于通过HTTP向服务器发送GET请求,并在那里获取数据。我还没有编写与响应有关的部分,因为我首先想测试GET请求是否有效。它没有:

private static String fetch() throws UnsupportedEncodingException, MalformedURLException, IOException {
        // Set the parameters
        String url = "http://www.futhead.com";
        String charset = "UTF-8";

        //Fire the request
        try {
        URLConnection connection = new URL(url).openConnection();
        connection.setRequestProperty("Accept-Charset", charset);
        connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11");
        // ^^^ I tried this, and it doesn't help!
        InputStream response = connection.getInputStream();

        HttpURLConnection httpConnection = (HttpURLConnection) new URL(url).openConnection();
        httpConnection.setRequestMethod("GET");
        System.out.println("Status: " + httpConnection.getResponseCode());
        } catch (UnknownHostException e) {
            // stuff
        }
        return null;
        // ^^^ I haven't coded the fetching itself yet
    }

考虑到这些代码,fetch()会打印Status: 403。为什么会这样?我的猜测是这个特定的服务器不允许非浏览器客户端访问它(因为代码与http://www.google.com一起使用),但是有解决方法吗?

已经有一些答案,但其中一些与我无关(他们谈论HTTPS的问题)或难以理解。我尝试过那些我能理解的东西,但没有用。

1 个答案:

答案 0 :(得分:3)

您可能已启用浏览器完整性检查https://support.cloudflare.com/hc/en-us/articles/200170086-What-does-the-Browser-Integrity-Check-do-

我禁用了浏览器完整性检查,现在工作正常。另一种解决方案是尽可能设置User-Agent。

我遇到了Scala的问题,最终使用了java.net.URL