Question

我正在使用cURL和DOM PHP抓取网页。该网站有一个产品部分，您可以逐页查看所有产品，还有分部，以便更简洁的搜索，每个页面列出9个产品。

我需要将该小节的信息存储到该产品所属的女巫。我从所有子部分URL开始，上面的程序显示了我如何尝试获取子部分的下一个9个产品页面。

问题是网络使用某些信息进行重定向，我认为它是在cookie上，因为网络中没有帖子跟踪。

例如：在ALL PRODUCTS部分中，第二页的URL如下：

www.example.com/product/?n=2

任何子部分的第一页都有一个唯一的URL，如：

www.example.com/product/subsection

问题是指向下一小节页面（下9个产品）的链接是

www.example.com/product/?n=2

网址与所有产品部分相同，但它显示了子部分产品。问题在于我得到了ALL PRODUCTS页面而不是SUBSECTION页面。

我尝试过使用Cookie但我没有得到明显的结果。有什么建议吗？

<?php
    private ckfile;

    public function main()
    {
        $this->ckfile = tempnam ("C:/Web/", "CURLCOOKIE");
        $copy = $this->get_page();

        $next_visit = $this->link_next($copy);
        while($next_visit != false){//it's not last page
            $copy = $this->get_page($next_visit,$get_name($next_visit));
            $next_visit = $this->link_next($copy);
        }
    }

    public function get_page($URL = "http://www.example.com" , $nombre = "example" )
    {       
        $ch = curl_init();
        $options = array(
                        CURLOPT_HTTPHEADER      => array("Accept-Language: es-es,en"),
                        CURLOPT_USERAGENT       => "Googlebot/2.1 (+http://www.google.com/bot.html)",
                        CURLOPT_AUTOREFERER     => true,         // set referer on redirect ,
                        CURLOPT_ENCODING        => "",               //allow all encodings
                        CURLOPT_FOLLOWLOCATION  => true,         // follow redirects
                        CURLOPT_HEADER          => false,               
                        CURLOPT_CONNECTTIMEOUT  => 120,          // timeout on connect 
                        CURLOPT_TIMEOUT         => 120,          // timeout on response 
                        CURLOPT_MAXREDIRS       => 10,           // stop after 10 redirects 
                        CURLOPT_COOKIEFILE      => $this->ckfile,
                        CURLOPT_COOKIEJAR       =>  $this->ckfile,
                        CURLOPT_RETURNTRANSFER  => true,
                        CURLOPT_URL             => $URL
                        );
        curl_setopt_array($ch, $options);

        $g = 'C:/Web/'.$nombre.'.html';
        if(!is_file($g)){
            $fp=fopen ($g, "w");
            curl_setopt ($ch,CURLOPT_FILE, $fp);
            $trash = curl_exec ($ch); // don't browse them       
            fclose($fp); 
        }
        curl_close ($ch);
    return $g;      
    }

    public function link_next($value)
    {
        # function that searches the DOM for a link and returns a well formed URL
            # or returns false if doesn't find one( last page)
    }
?>

Answer 1

要进行多次通话，您需要使用curl multi：

$ch = curl_multi_init();

不

    $ch = curl_init();

请参阅此帖子以获取示例Multiple PHP cUrl posts to same page

使cURL cookie在成功的curl_exec连接中工作

1 个答案: