我正在尝试使用以下代码使用CURL对网页www.dealstan.com进行解码:
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url); // Define target site
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE); // Return page in string
curl_setopt($cr, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.2 (KHTML, like Gecko) Chrome/5.0.342.3 Safari/533.2');
curl_setopt($ch, CURLOPT_ENCODING , "gzip");
curl_setopt($ch, CURLOPT_TIMEOUT,5);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE); // Follow redirects
$return = curl_exec($ch);
$info = curl_getinfo($ch);
curl_close($ch);
$html = str_get_html("$return");
echo $html;
但是,它显示了一些垃圾字符
“ } {w 6 9 X n ..........”大约100行。
我试图在hurl.it中找到响应,发现一个有趣的观点,看起来html被编码两次(只是一个猜测,基于响应)
找到以下回复: 获取http://www.dealstan.com/
200 OK 18.87 kB 490 ms 查看请求查看响应 HEADERS
Cache-Control:max-age = 0,no-cache
Cf-Ray:18be7f54f8d80f1b-IAD
连接:保持活力
内容编码:gzip,gzip ==============>?怀疑这个,有人知道吗?
Content-Type:text / html;字符集= UTF-8
日期:2014年11月19日星期三18:33:39 GMT
服务器:cloudflare-nginx
Set-Cookie:__ cfduid = d1cff1e3134c5f32d2bddc10207bae0681416422019;到期=星期四,19日 - 11月15日18:33:39 GMT;路径= /;域= .dealstan.com;仅Http
Transfer-Encoding:chunked
变化:接受编码
X-Page-Speed:1.8.31.2-3973
X-Pingback:http://www.dealstan.com/xmlrpc.php
X-Powered-By:HHVM / 3.2.0 BODY查看原始
H4sIAAAAAAAAA5V8Q5AoWrBk27Ztu / u2bdu2bdu2bdu2bds2583f / pjFVOQqozZnUxkVJ7PwoyAA / qeAb3y83LbYHs / 3Hv79wKm / 2N5cZyJVtCWu1xyteyzLNqYuWbdtHeELCyIZRRp / 1Fe7es3 + wL3Vfb
任何人都知道如何使用标题“Content-Encoding:gzip,gzip”解码响应,
该网站在firefox,chrome等中正确加载但是,我无法使用CURL进行解码。
请帮我解码一下这个问题?
答案 0 :(得分:7)
您可以通过修剪标题并使用gzinflate对其进行解码。
$url = "http://www.dealstan.com"
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url); // Define target site
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE); // Return page in string
curl_setopt($cr, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.2 (KHTML, like Gecko) Chrome/5.0.342.3 Safari/533.2');
curl_setopt($ch, CURLOPT_ENCODING, "gzip");
curl_setopt($ch, CURLOPT_TIMEOUT, 5);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE); // Follow redirects
$return = curl_exec($ch);
$info = curl_getinfo($ch);
curl_close($ch);
$return = gzinflate(substr($return, 10));
print_r($return);