获取每秒的php curl请求以获取网站页面上的所有链接

时间:2016-08-18 20:06:08

标签: php curl

我试图在具体的网页上获取所有链接。我只需要' a'带有具体参数的标签。但首先,据我所知,我必须下载整个页面。

我使用这个(大部分不是我的)代码:

<?php
function file_get_contents_curl($url) 
{
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //Устанавливаем параметр, чтобы curl возвращал данные, вместо того, чтобы выводить их в браузер.
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_FORBID_REUSE, true);
    $data = curl_exec($ch);
    curl_close($ch);
    return $data;
}
$startUrl = 'address';
$data = file_get_contents_curl($startUrl);
echo($data);
?>

由此我得到错误&#34;请求太多&#34;。问题是:我可以更改链接数组的finging元素的请求数量吗? 我想curl_multi,但据我所知,它假设我已经有了数组,只需要创建多个线程。

请帮助。

0 个答案:

没有答案