Question

因此，我正在遍历URL列表以检查它们是否已死或被重定向，然后记录结果。我也有一些例外，将重定向到godaddy.com或hugedomains.com之类的域标记为无效，基本上就是这样。

我的问题是，它参差不齐。例如，域

custommarbleproducts.com
danielharderandsons.com

重定向到这些：

我尝试过滤掉“？reqp = 1＆reqr =”，但有时会起作用。我可以运行该脚本，并且从十个无效/重定向的URL中运行，四个将被标记为无效，然后重新运行，并且将三个或五个标记为无效（并且结果不同，上一次可能标记为无效），我正在寻找更一致的结果。这是功能块：

function get_url_status($url) {

$cookie = realpath(dirname(__FILE__)) . "/cookie.txt";

file_put_contents($cookie, "");

$ch = curl_init($url);
curl_setopt($ch, CURLOPT_NOBODY, 1);
if ($curl = curl_init()) {
    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // follow redirects
    curl_setopt($ch, CURLOPT_AUTOREFERER, 1); // set referer on redirect
    curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie);
    curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie);
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (X11; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0');
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 20);
    curl_setopt($ch, CURLOPT_TIMEOUT, 30);
    curl_exec($ch);
    $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    $final_url = curl_getinfo($ch, CURLINFO_EFFECTIVE_URL);

    curl_close($ch);

    if ((strpos($final_url, "hugedomains.com") !== FALSE) ||
            (strpos($final_url, "namecheap.com") !== FALSE) ||
            (strpos($final_url, "uniregistry.com") !== FALSE) ||
            (strpos($final_url, "afternic.com") !== FALSE) ||
            (strpos($final_url, "buydomains.com") !== FALSE) ||
            (strpos($final_url, "/?nr=0") !== FALSE) ||
            (strpos($final_url, "?reqp=1&reqr=") !== FALSE) ||
            (strpos($final_url, "godaddy.com") !== FALSE)) {
        return 'dead';
    }

    if (in_array($http_code, array('404', '403', '500', '0'))) {
        return 'dead';
    } elseif (($http_code == 200) || ($url == $final_url)) {
        return 'ok';
    } elseif ($http_code > 300 || $http_code < 400) {
        return $final_url;
    } else {
        return '';
    }
  }
}

function quote_string($string) {
  $string = str_replace('"', "'", $string);
  $string = str_replace('&amp;', '&', $string);
  $string = str_replace('&nbsp;', ' ', $string);
  $string = preg_replace('!\s+!', ' ', $string);
  return '"' . trim($string) . '"';
}

有人有什么想法可以使其更可靠吗？

Answer 1

也许比较原始URL和最终URL的域：

$orig_host = parse_url($url, PHP_URL_HOST);
$final_host = parse_url($final_url, PHP_URL_HOST);

$len = strlen($orig_host);

if (substr($final_host, 0 - $len) === $orig_host) {
    echo "$final_host ends with $orig_host";
}

}

检查网址是否已失效或重定向，但并非始终有效

1 个答案: