使用php-libcurl跟踪页面标题和重定向

时间:2011-05-20 09:08:14

标签: php cookies redirect curl header

我正在编写一个脚本来跟踪标题,尤其是重定向和cookie的网址。 很多时候,当我打开一个网址时,它会重定向到另一个网址,有时会重定向到一个网址,还会存储一些网址。但是当我用url运行脚本时

  

http://en.wikipedia.org/

我的脚本没有保存cookie,它只显示一个重定向,并没有存储任何cookie。但是当我浏览firefox中的url时,它保存了cookie,当我用Live HTTP Headers检查它时,它显示了多个get请求。实时HTTP标头还显示有Set-Cookie标头。

<?php

$url="http://en.wikipedia.org/";
$userAgent="Mozilla/5.0 (Windows NT 5.1; rv:2.0)Gecko/20100101 Firefox/4.0";
$accept="text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
$encoding="gzip, deflate";
$header['lang']="en-us,en;q=0.5";
$header['charset']="ISO-8859-1,utf-8;q=0.7,*;q=0.7";
$header['conn']="keep-alive";
$header['keep-alive']=115;
$i=1;
$flag=1;        //0 if there is no redirect i.e. no location header to follow. used here to to control the while loop below

while($flag!=0) {
    $ch=curl_init();
    curl_setopt($ch,CURLOPT_URL,$url);
    curl_setopt($ch,CURLOPT_USERAGENT,$userAgent);
    curl_setopt($ch,CURLOPT_ENCODING,$encoding);
    curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
    curl_setopt($ch,CURLOPT_FOLLOWLOCATION,0);
    curl_setopt($ch,CURLOPT_HEADER,1);
    curl_setopt($ch,CURLOPT_NOBODY,1);
    curl_setopt($ch,CURLOPT_AUTOREFERER,true);
    curl_setopt($ch, CURLOPT_COOKIEJAR, dirname(__FILE__) . "/cookie.txt");
    curl_setopt($ch, CURLOPT_COOKIEFILE, dirname(__FILE__) . "/cookie.txt");
    curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
    $pageHeader[$i]=curl_exec($ch);
    curl_close($ch);
    $flag=preg_match('/Location: (.*)\s/',$pageHeader[$i],$location[$i]);
    if($flag==1) {      //if there is a location header    
        if(preg_match('@^(http://|www.)@',$location[$i][1],$tempurl)==1) {      //if it is an absolute url
            $url=$location[$i][1];
        } else {
            if(preg_match('@^/(.*)@',$location[$i][1],$tempurl)==1) {   //if the url corresponds to url relative to server's root
                preg_match('@^((http://)|(www.))[^/]+@',$url,$domain);
                $url=$domain.$tempurl[0];
            } else {        //if the url is relative to current directory
                $url=preg_replace('@(/[^/]+)$@',"/".$location[$i][1],$url);
            }
        }
        $location[$i]=$url;
        preg_match('/Set-Cookie: (.*)\s/',$pageHeader[$i],$cookie[$i]);
        $i++;
    }

    foreach($location as $l)
        $loc=$loc.$l."\n";

    $header=implode("\n\n\n",$pageHeader);
    file_put_contents(dirname(__FILE__) . "/location.txt",$loc);
    file_put_contents(dirname(__FILE__) . "/header.txt",$header);
?>

此处创建了文件location.txtheader.txt,但未创建cookie.txt。 如果我将网址更改为google.com,则会在google.co.in文件中显示重定向到location.txt,并将Cookie保存在cookie.txt文件中。但是当我在google.com中打开Firefox时,它会保存三个Cookie。有什么不对? 我认为页面上有一些javascript正在设置cookie,所以curl无法得到它。 也欢迎任何改进上述代码的建议

1 个答案:

答案 0 :(得分:0)

您的位置:以下代码已完全中断,因为您应该看到大多数HTTP重定向是相对的,因此您不能在后续请求中将该字符串用作URL。