网络搜索谷歌的酒店搜索

Question

我试图教自己如何网上搜索酒店数据。

    <?php

$url = "https://www.google.com/hotels/#search;l=Denpasar-Bali+Ngurah+Rai,+Denpasar,+ID;d=2015-04-30;n=6;usd=1;si=dc7b320c;av=r";
$curl_connection = curl_init($url);

curl_setopt($curl_connection, CURLOPT_CONNECTTIMEOUT, 30);
curl_setopt($curl_connection, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.90 Safari/537.36");
curl_setopt($curl_connection, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl_connection, CURLOPT_SSL_VERIFYPEER, False);
curl_setopt($curl_connection, CURLOPT_FOLLOWLOCATION, 1);


$result = curl_exec($curl_connection);
echo $result;



?>

我无法从Google获取任何酒店数据。所以只想在刮取酒店数据方面寻求帮助。

Answer 1

你的案子很特别。你试图刮掉google的酒店目录。

1. 请注意，谷歌正在限制请求搜索页面（包括paginaton）达到一定限度，以保护数据免受网页抓取。请求频率也受到控制：证明它是人或机器人做多个请求。
2. 似乎您有GET参数，因此请查看如何使用CUrl在查询中形成它们。
3. 由于您尝试查询Google的酒店（商家）目录（https://www.google.com/hotels/#search），请注意抓取此类目录，请参阅some tips。