为什么无法获取带有指定URL的curl的重定向URL?

时间:2019-04-25 07:56:14

标签: curl url-redirection

在浏览器中打开网址http://quotes.money.163.com/f10/gszl_600024.html,等待5秒钟左右,该网址将重定向到http://quotes.money.163.com/stock。 在curl命令的一些教程中,L指令告诉cURL跟随重定向,s指令告诉cURL保持静默,url_effective变量就是我们要遵循的。

target="http://quotes.money.163.com/f10/gszl_600024.html"
curl -Ls -w %{url_effective} -o /dev/null $target

为什么上面的命令无法获取上一个重定向的URL http://quotes.money.163.com/stock

1 个答案:

答案 0 :(得分:0)

因为它是HTML meta tag redirect,并且curl不自动支持以下HTML元标记重定向。因此,您需要了解HTML的内容,而curl则不需要。

quotes.money.163.com/f10/gszl_600024.html包含html标签<meta http-equiv="refresh" content="5; url=/">,该标签告诉浏览器after 5 seconds, redirect to the root of this domainquotes.money.163.com/,而quotes.money.163.com/又从http://img1.cache.netease.com/f2e/finance/backend_project/quotes_index_2014/app/dist/js/quotes_hub.916069.min.js加载javascript。其中包含

! function(o) {
    var l = location.href,
        t = !!location.hash.split("#")[1] ? location.hash.split("#")[1] : "HS",
        c = location.host,
        n = location.protocol,
        i = {
            HS: "stock",
            US: "usstock",
            HK: "hkstock",
            BOND: "bond",
            FX: "old/#FX",
            FN: "old/#FN",
            FU: "old/#FU",
            GB: "old/#GB",
            DC: "old/#DC"
        },
        e = i[t],
        a = n + "//" + c + "/stock";

    function s() {
        return l.indexOf("quotes.money.163.com/old/") > -1 ? 1 : 0
    }

    function r(o) {
        return o.indexOf("query") > -1 ? 1 : 0
    }
    if (!s()) {
        if (e) {
            location.replace(n + "//" + c + "/" + e)
        } else {
            if (r(t)) {
                location.replace(n + "//" + c + "/old/#" + t)
            } else {
                location.replace(a)
            }
        }
    }
}(this);

通过修改window.location可以将javascript重定向到http://quotes.money.163.com/stock,更糟糕的是,curl不了解javascript重定向和html重定向。如果您想要同时理解两者的内容,请考虑使用无头浏览器。