当我打开浏览器并启用JavaScript时,一切正常。
但是当我关闭JavaScript时,它无法完全加载页面。
我认为,我无法解析元素,因为我的php无法完全加载网页。
include('simplehtmldom/simple_html_dom.php');
$url = 'https://m.kolesa.kz/';
$html = file_get_html($url);
echo $html->find('.a-card__header', 0);
我可以尝试做什么?
您可以看到我的网站在运行here
不可能重复Scrape web page data generated by javascript。
由于上述有关通过单击触发内容的问题。 但就我而言,内容正常加载而无需单击。当我关闭JavaScript时出现问题。在未完全加载的页面上没有什么可单击的。 (查看图片2)
我尝试echo $html
。
content of parsed html page. (Click me I am image)
试图发送一些带有curl的标题。
header('Content-type: text/html; charset=UTF-8');
// INITIAL SET UP
$handle = curl_init();
$url = "https://m.kolesa.kz/";
$useragent = 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Mobile Safari/537.36'; // Setting useragent of a popular browser
// Setting cURL options
curl_setopt($handle, CURLOPT_SSL_VERIFYPEER, FALSE); // Prevent cURL from verifying SSL certificate
curl_setopt($handle, CURLOPT_FAILONERROR, TRUE); // Script should fail silently on error
curl_setopt($handle, CURLOPT_FOLLOWLOCATION, TRUE); // Follow Location: headers
curl_setopt($handle, CURLOPT_RETURNTRANSFER, TRUE); // Returning transfer as a string
curl_setopt($handle, CURLOPT_USERAGENT, $useragent); // Setting useragent
curl_setopt($handle, CURLOPT_URL, $url);
$results = curl_exec($handle); // Executing cURL session
$code = curl_getinfo($handle, CURLINFO_HTTP_CODE);
curl_close($handle); // Closing cURL session
var_dump($results);
Output with curl. (Click me I am image) 如您所见,卷曲不能帮助我。