Question

我正在使用相同的代码来获取不同网页的价格（特别是7个），它们都可以正常工作，但是在1中我无法获取任何数据，能否告诉我该页面是否不可能有什么保护？预先感谢。

$source = file_get_contents("https://www.cyberpuerta.mx/Computo-Hardware/Discos-Duros-SSD-NAS/Discos-Duros-Internos-para-PC/Disco-Duro-Interno-Western-Digital-Caviar-Blue-3-5-1TB-SATA-III-6-Gbit-s-7200RPM-64MB-Cache.html");

preg_match("'<span class=\"priceText\">(.*?)</span>'", $source, $price);

echo $price[1];

我希望这个结果： $ 869.00

此代码仅在代码所示的网站上无法正常工作。

Answer 1

在代理集上使用curl，这通常会欺骗网站保护，使其相信它是真实用户。

$URL = "https://www.cyberpuerta.mx/Computo-Hardware/Discos-Duros-SSD-NAS/Discos-Duros-Internos-para-PC/Disco-Duro-Interno-Western-Digital-Caviar-Blue-3-5-1TB-SATA-III-6-Gbit-s-7200RPM-64MB-Cache.html";

$agent= 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.0.3705; .NET CLR 1.1.4322)'; 
$ch = curl_init(); 
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); 
curl_setopt($ch, CURLOPT_VERBOSE, true); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
curl_setopt($ch, CURLOPT_USERAGENT, $agent); 
curl_setopt($ch, CURLOPT_URL, $URL); 
$result =curl_exec($ch);
preg_match("'<span class=\"priceText\">(.*?)</span>'", $result, $price);

echo $price[1];

网络抓取仅在此站点上不起作用

1 个答案: