Jsoup格式错误的网址

时间:2012-05-16 15:08:37

标签: java jsoup

我在使用JSoup连接到网址时遇到了问题。

我要测试的网址是www.xbox.com/en-US/security,这是302(我认为)重定向到http://www.xbox.com/en-US/Live/Account-Security。我已经设置了jsoup来跟随重定向并使用.headers(“location”)获取新的url。返回的网址是/ en-US / Live / Account-Security。我不知道如何处理它,我的代码如下:

while (i < retries){
        try {
            response = Jsoup.connect(checkUrl)
                    .userAgent("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.21 (KHTML, like Gecko) Chrome/19.0.1042.0 Safari/535.21")
                    .followRedirects(false)
                    .timeout(10000)
                    .execute();
            success = true;
            break;
        } catch (SocketTimeoutException ex){
            timeout = true;
        }  catch (MalformedURLException ep){
            malformedUrl = true;
        }catch (IOException e) {
            statusCode = 404;
        }
    }

private void getStatus(){
    if (success){
        statusCode = response.statusCode();
        success = false;
    }
    if (statusCode >= 300 && statusCode <= 399){
        //System.out.println("redirect: " +statusCode + " " +checkUrl);
        checkUrl = response.header("location");
        //System.out.println(checkUrl);
        connect();
        getStatus();
    }
}

有人有关于如何处理此问题的建议吗?或者我应该检查一下checkUrl = response.header(“location”);看看它是否是一个有效的网址,如果不是,不测试它?

1 个答案:

答案 0 :(得分:5)

首先要做的事情:如果您尝试访问“www.xbox.com/en-US/security”,它会抛出MalformedException,因此不会将您重定向到您想要的位置。

问题是我只使用布尔变量成功,如果捕获到任何异常,则将其设置为false。然后,我不知道你是否正在使用超时或畸形变量。

之后我会说IOException之后的行永远不会有用。我再说不出来,因为我看不到完整的代码。

现在......对于您的问题:返回的字符串是您提供的第一个URL中的域。它会像这样:

//Assuming you won't ever change it, make it a final
//variable for less memory usage.
final String URL = "http://www.xbox.com/en-US/security";

//Whatever piece of processing here

//Some tests just to make sure you'll get what you're
//fetching:
String newUrl = ""
if (checkUrl.startsWith("/"))
    newUrl = URL + checkUrl;

if (checkUrl.startsWith("http://"))
    newUrl = checkUrl;

if (checkUrl.startsWith("www"))
    newUrl = "http://" + checkUrl;

这段代码基本上可以确保您可以浏览网址,而不会获得一些MalformedUrlException。我建议在某处放置一个manageUrl()方法并测试所提取的URL是否在您正在搜索的域内,或者您最终可能会在e-commerces或publicuty网站中。

希望有帮助=)