所以我试图从网站上抓取一些数据。 有必须删除的名称列表。 如果有15个名称需要被删除,会发生什么。其中只有5个名字被删除。
当我检查原始网站时,他们也以类似的方式加载数据。在第一次加载网站时。仅显示五个名称。在重新加载时,会显示10个名称,然后再次尝试显示所有15个数据。
任何人都可以告诉我如何让我的cURL等待几秒钟才能抓取原始数据。这样可以抓取所有内容吗?
以下是带有curl set选项的代码的部分片段:
$post = curl_init();
curl_setopt($post, CURLOPT_URL, $url);
curl_setopt($post, CURLOPT_AUTOREFERER, true);
curl_setopt($post, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($post, CURLOPT_RETURNTRANSFER, 1 );
curl_setopt($post, CURLOPT_TIMEOUT, 2 );
$img_contents = curl_exec($post);
curl_close($post);
$html= str_get_html($img_contents);
foreach($html->find('div[id=xxxx]') as $stay2)
{
$stay4=$stay2->find('span[class=xxx]');
foreach($stay4 as $stay6)
{
echo $abc[]= strip_tags($stay6) ."<br/>";
}
}