Curl Location.reload（true）结果

Question

当我尝试使用CURL获取markafoni.com的html数据时，它会返回;

<script>
document.cookie = 'NSId=2;expires=Sun, 17-Jan-2038 01:00:00 GMT';
location.reload(true);
</script><noscript>%90'a varan indirim Markafoni'de</noscript>

---

$ch = curl_init();
curl_setopt($ch, CURLOPT_HEADER,true);
curl_setopt($ch, CURLOPT_COOKIEFILE, 'cookie.txt');
curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookie.txt');
curl_setopt($ch, CURLOPT_RETURNTRANSFER,true);
curl_setopt($ch, CURLOPT_COOKIESESSION,true);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER,false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST,false);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION,true);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6");
curl_setopt($ch, CURLOPT_REFERER, 'http://www.markafoni.com/');
curl_setopt($ch, CURLOPT_URL, 'https://www.markafoni.com/');

我该如何解决这个问题？

Answer 1

问题是服务器设置cookie的技术，这是相当特殊的。事实上，它可能会像你一样阻止屏幕抓取，但可能还有其他原因。

服务器显然有两种不同的反应。

1. 如果没有设置NSId个Cookie，请发送一些Javascript来设置一个并发送其他内容。
2. 如果设置了NSId Cookie，请发送页面内容。

cURL显然可以从服务器接收和设置cookie，就像使用以下代码一样：

curl_setopt($ch, CURLOPT_COOKIEFILE, 'cookie.txt');
curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookie.txt');

然而，这假定服务器正在以正常方式设置cookie，即使用Cookie HTTP头。因为它是用Javascript（非常特殊！）来做的，所以cURL不理解它。

您必须使用CURLOPT_COOKIE选项自行设置Cookie：

curl_setopt($ch, CURLOPT_COOKIE, 'NSId=2');

CURLOPT_COOKIE选项设置要由cURL发送的cookie字符串。