如何解码"内容编码:gzip,gzip"使用卷曲?

时间:2014-11-19 19:04:32

标签: php html curl nginx gzip

我正在尝试使用以下代码使用CURL对网页www.dealstan.com进行解码:

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url); // Define target site
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE); // Return page in string
curl_setopt($cr, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.2 (KHTML, like Gecko) Chrome/5.0.342.3 Safari/533.2');
curl_setopt($ch, CURLOPT_ENCODING , "gzip");     
curl_setopt($ch, CURLOPT_TIMEOUT,5); 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE); // Follow redirects

$return = curl_exec($ch); 
$info = curl_getinfo($ch); 
curl_close($ch); 

$html = str_get_html("$return");
echo $html;

但是,它显示了一些垃圾字符

“ } {w 6 9 X n ..........”大约100行。

我试图在hurl.it中找到响应,发现一个有趣的观点,看起来html被编码两次(只是一个猜测,基于响应)

找到以下回复:  获取http://www.dealstan.com/

200 OK 18.87 kB 490 ms 查看请求查看响应 HEADERS

Cache-Control:max-age = 0,no-cache

Cf-Ray:18be7f54f8d80f1b-IAD

连接:保持活力

内容编码:gzip,gzip ==============>?怀疑这个,有人知道吗?

Content-Type:text / html;字符集= UTF-8

日期:2014年11月19日星期三18:33:39 GMT

服务器:cloudflare-nginx

Set-Cookie:__ cfduid = d1cff1e3134c5f32d2bddc10207bae0681416422019;到期=星期四,19日 - 11月15日18:33:39 GMT;路径= /;域= .dealstan.com;仅Http

Transfer-Encoding:chunked

变化:接受编码

X-Page-Speed:1.8.31.2-3973

X-Pingback:http://www.dealstan.com/xmlrpc.php

X-Powered-By:HHVM / 3.2.0 BODY查看原始

H4sIAAAAAAAAA5V8Q5AoWrBk27Ztu / u2bdu2bdu2bdu2bds2583f / pjFVOQqozZnUxkVJ7PwoyAA / qeAb3y83LbYHs / 3Hv79wKm / 2N5cZyJVtCWu1xyteyzLNqYuWbdtHeELCyIZRRp / 1Fe7es3 + wL3Vfb

任何人都知道如何使用标题“Content-Encoding:gzip,gzip”解码响应,

该网站在firefox,chrome等中正确加载但是,我无法使用CURL进行解码。

请帮我解码一下这个问题?

1 个答案:

答案 0 :(得分:7)

您可以通过修剪标题并使用gzinflate对其进行解码。

$url = "http://www.dealstan.com"

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url); // Define target site
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE); // Return page in string
curl_setopt($cr, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.2 (KHTML, like Gecko) Chrome/5.0.342.3 Safari/533.2');
curl_setopt($ch, CURLOPT_ENCODING, "gzip");     
curl_setopt($ch, CURLOPT_TIMEOUT, 5); 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE); // Follow redirects

$return = curl_exec($ch); 
$info = curl_getinfo($ch); 
curl_close($ch); 

$return = gzinflate(substr($return, 10));
print_r($return);