我正在构建网站抓取工具并使用cURL class这些选项来获取标头,以便我可以在将完整网站下载到mime/type
之前提取content-length
和text/html
{1}}及以下指定的尺寸限制。
这些是我的卷曲选项
$c->setopt(CURLOPT_URL, $theURL);
$c->setopt(CURLOPT_HEADER, false);
$c->setopt(CURLOPT_RETURNTRANSFER, true);
$c->setopt(CURLOPT_TIMEOUT, 10);
$c->setopt(CURLOPT_CONNECTTIMEOUT, 10);
$c->setopt(CURLOPT_NOBODY, TRUE);
$c->setopt(CURLOPT_FOLLOWLOCATION, TRUE);
$c->setopt(CURLOPT_MAXREDIRS, 2);
// Within Class
$theReturnValue = curl_exec($this->m_handle);
$this->m_status = curl_getinfo($this->m_handle) ;
但即使没有[download_content_length] => -1
它也始终返回CURLOPT_NOBODY
但是重新检索的数据(整个文件)是正确的。