Question

我使用的图书馆是：PHP Simple HTML DOM Parser v1.5.0

对于某些网址，它的str_get_html（）和file_get_html（）调用将返回false。例如：

 $html = HtmlDomParser::file_get_html('http://finance.yahoo.com/');

我该如何解决这个问题？

Answer 1

简单的HTML DOM解析器supports invalid HTML。但问题可能在于加载雅虎页面，页面上的各种转发...... cURL可以应对的一切。如此快速，肮脏，可能是处理这种情况的最糟糕的方法是使用解决方法 - 使用cURL加载页面内容，然后使用简单HTML DOM的代码解析变量。

这样的事情：

<?php
include('simple_html_dom.php');

$search_url = 'http://finance.yahoo.com/';

function bCurl($url) {

    $cookie_file = "cookie1.txt";

    $header = array();
    $header[] = 'Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5';
    $header[] = 'Cache-Control: max-age=0';
    $header[] = 'Connection: keep-alive';
    $header[] = 'Keep-Alive: 300';
    $header[] = 'Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7';
    $header[] = 'Accept-Language: en-us,en;q=0.5';
    $header[] = 'Pragma: ';
    $ch = curl_init(); 
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.0.11) Gecko/2009060215 Firefox/3.0.11 (.NET CLR 3.5.30729)');
    curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
    curl_setopt($ch, CURLOPT_AUTOREFERER, true); 
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);
    curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
    curl_setopt($ch, CURLOPT_ENCODING, '');
    curl_setopt($ch, CURLOPT_TIMEOUT, 20);
    $result = curl_exec($ch);
    curl_close ($ch);

    return $result;
}

$result = bCurl($search_url);

$html = new simple_html_dom(); 
$html->load($result);   

$keywords = $html->find("meta[name=keywords]",0)->getAttribute('content');

print_r($keywords);
?>

正确的解决方案可能是分析雅虎财经页面，检查那里发生了什么，分析转发和反刮机制，javascript和flash对象......但是，嘿，我们都喜欢即时，快速和肮脏的解决方案喜欢这个吧？ ;）

为什么＆＃34; PHP简单的HTML DOM解析器＆＃34;有时无法解析HTML正文？

1 个答案: