加载有时通过PHP“挂起”的页面(Curl)

时间:2010-10-25 00:02:55

标签: php parsing curl web-scraping

我正在尝试通过PHP和&解析来从网站获取信息。卷曲。但有时当前页面没有完成加载,因此脚本运行时没有发生任何事情。这是一个简单的脚本......

...

curl_setopt($curl, CURLOPT_URL, $url);

$page = curl_exec($curl);

...

如果页面在(例如)60秒后没有完成加载而没有中断完整的脚本,是否可以简单地重试加载同一页面?

如果有人可以帮助我实现这项任务,那将会很棒。

2 个答案:

答案 0 :(得分:2)

您可以使用CURLOPT_TIMEOUT这是允许cURL函数执行的最大秒数。

curl_setopt($ch, CURLOPT_TIMEOUT, timeout_in_seconds);

答案 1 :(得分:0)

简单的事情就是......

$bol=true;
while($bol)
{
$page = curl_exec($curl);
if($page=="")//Or whatever curl_exec returns on timeout
$bol=true;
}