Question

我正在使用以下代码卷曲一个URL，这适用于附加到URL末尾的get或POST数据。但不是获得和发布。

然而，当我使用高级休息客户端（为谷歌浏览器添加）时，它可以正常工作。但令人讨厌的是，我无法看到它发送的模仿它的请求。

这是我正在制作的电话。

$fields = array(
        'searchPaginationResultsPerPage'=>500               );
foreach($fields as $key=>$value) { $fields_string .= $key.'='.$value.'&'; }
$fields_string = rtrim($fields_string,'&');

$curl = curl_init(); 
curl_setopt( $curl, CURLOPT_URL, 'http://www.microgenerationcertification.org/mcs-consumer/installer-search.php?searchPaginationPage=1' );
curl_setopt( $curl, CURLOPT_FOLLOWLOCATION, true );
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);  
curl_setopt($curl,CURLOPT_POST,count($fields));
curl_setopt($curl,CURLOPT_POSTFIELDS,$fields_string);
curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 80);  
$str = curl_exec($curl);  
curl_close($curl);

使用它作为一个测试比什么都重要，但似乎无法让它工作。我可以一直获得前500个结果，但不会获得下一个500个结果。

Answer 1

不确定为什么会失败，看起来很好..当您跳过CURL并使用PHP流方法时会发生什么：

$postdata = http_build_query(
    array(
        'searchPaginationResultsPerPage' => 500
    )
); 
$opts = array('http' =>
    array(
        'method'  => 'POST',
        'header'  => 'Content-type: application/x-www-form-urlencoded',
        'content' => $postdata
    )
);

$context  = stream_context_create($opts);

$result = file_get_contents('http://www.microgenerationcertification.org/mcs-consumer/installer-search.php?searchPaginationPage=1', false, $context);

Answer 2

这有效

$fields = array (
        'searchPaginationResultsPerPage' => 500,
        'searchPaginationPage' => 1 
);

$headers = array (
        "Connection: keep-alive",
        "User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.162 Safari/535.19",
        "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
        "Accept-Encoding: gzip,deflate,sdch",
        "Accept-Language: en-US,en;q=0.8",
        "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.3" 
);

$fields_string = http_build_query ( $fields );
$cookie = 'cf6c650fc5361e46b4e6b7d5918692cd=49d369a493e3088837720400c8dba3fa; __utma=148531883.862638000.1335434431.1335434431.1335434431.1; __utmc=148531883; __utmz=148531883.1335434431.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); mcs=698afe33a415257006ed24d33c7d467d; style=default';
$ch = curl_init ();
curl_setopt ( $ch, CURLOPT_URL, 'http://www.microgenerationcertification.org/mcs-consumer/installer-search.php?searchPaginationPage=1&searchPaginationResultsPerPage=500' );
curl_setopt ( $ch, CURLOPT_FOLLOWLOCATION, true );
curl_setopt ( $ch, CURLOPT_RETURNTRANSFER, 1 );
curl_setopt ( $ch, CURLOPT_CONNECTTIMEOUT, 80 );
curl_setopt ( $ch, CURLOPT_COOKIE, $cookie );
curl_setopt ( $ch, CURLOPT_HTTPHEADER, $headers );

$str = curl_exec ( $ch );
curl_close ( $ch );

echo $str;

您需要cookie信息并确保curl使用GET而不是POST

请参阅演示：http://codepad.viper-7.com/gTThxX（我希望在您查看之前cokkies没有过期）

Answer 3

我查看了您正在抓取的页面并注意到以下内容：

当您更改每页的结果时，它会再次发布您的搜索
他们似乎正在使用会话来存储您的搜索参数

使用CURL时你没有保留会话ID（这样做可能比你想要的要复杂得多），所以这与网站上的行为不一样。

但我注意到，如果将searchPaginationResultsPerPage参数附加到URL，它可以正常工作。像这样：

http://www.microgenerationcertification.org/mcs-consumer/installer-search.php?searchPaginationPage=0&searchPaginationResultsPerPage=500

这意味着你实际上可以使用file_get_contents而不用担心CURL的东西。

PHP Curl GET＆amp; POST

3 个答案: