无法解析页面元素,因为页面无法完全加载|通过php解析器简单的html dom

时间:2019-05-02 16:43:14

标签: javascript php simple-html-dom

当我打开浏览器并启用JavaScript时,一切正常。

image

但是当我关闭JavaScript时,它无法完全加载页面。

image

我认为,我无法解析元素,因为我的php无法完全加载网页。

include('simplehtmldom/simple_html_dom.php');

$url  = 'https://m.kolesa.kz/'; 
$html = file_get_html($url);
echo $html->find('.a-card__header', 0);

我可以尝试做什么?

您可以看到我的网站在运行here

不可能重复Scrape web page data generated by javascript

由于上述有关通过单击触发内容的问题。 但就我而言,内容正常加载而无需单击。当我关闭JavaScript时出现问题。在未完全加载的页面上没有什么可单击的。 (查看图片2)

我尝试echo $htmlcontent of parsed html page. (Click me I am image)

试图发送一些带有curl的标题。

header('Content-type: text/html; charset=UTF-8');
// INITIAL SET UP
$handle = curl_init();
$url = "https://m.kolesa.kz/";

$useragent = 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Mobile Safari/537.36'; // Setting useragent of a popular browser

// Setting cURL options
curl_setopt($handle, CURLOPT_SSL_VERIFYPEER, FALSE);    // Prevent cURL from verifying SSL certificate
curl_setopt($handle, CURLOPT_FAILONERROR, TRUE);    // Script should fail silently on error
curl_setopt($handle, CURLOPT_FOLLOWLOCATION, TRUE); // Follow Location: headers
curl_setopt($handle, CURLOPT_RETURNTRANSFER, TRUE); // Returning transfer as a string
curl_setopt($handle, CURLOPT_USERAGENT, $useragent);    // Setting useragent
curl_setopt($handle, CURLOPT_URL, $url);



$results = curl_exec($handle);  // Executing cURL session
$code = curl_getinfo($handle, CURLINFO_HTTP_CODE);
curl_close($handle);    // Closing cURL session

var_dump($results);

Output with curl. (Click me I am image) 如您所见,卷曲不能帮助我。

0 个答案:

没有答案