我在php xpath scraping中遇到错误试图获取非对象的属性

时间:2017-11-02 23:20:19

标签: php xpath screen-scraping

我正在尝试为我的网站制作一个简单的刮擦代码但是当我运行它时我得到并出错

我收到此错误代码

注意:尝试获取非对象的属性

这是我的代码

function get_web_page( $url )
{
    $options = array(
        CURLOPT_RETURNTRANSFER => true,     // return web page
        CURLOPT_HEADER         => false,    // don't return headers
        CURLOPT_FOLLOWLOCATION => true,     // follow redirects
        CURLOPT_ENCODING       => "",       // handle all encodings
        CURLOPT_USERAGENT      => "spider", // who am i
        CURLOPT_AUTOREFERER    => true,     // set referer on redirect
        CURLOPT_CONNECTTIMEOUT => 120,      // timeout on connect
        CURLOPT_TIMEOUT        => 120,      // timeout on response
        CURLOPT_MAXREDIRS      => 10,       // stop after 10 redirects
        CURLOPT_SSL_VERIFYPEER => false     // Disabled SSL Cert checks
    );

    $ch      = curl_init( $url );
    curl_setopt_array( $ch, $options );
    $content = curl_exec( $ch );
    $err     = curl_errno( $ch );
    $errmsg  = curl_error( $ch );
    $header  = curl_getinfo( $ch );
    curl_close( $ch );

    $header['errno']   = $err;
    $header['errmsg']  = $errmsg;
    $header['content'] = $content;
    return $header;
}


libxml_use_internal_errors(true);
$url = 'https://www.mourjan.com/ae/abu-dhabi/lands';
$amer=get_web_page($url);
$html= $amer['content'];
$dom = new DOMDocument();
@$dom->loadHTML($html);
$xpath = new DOMXPath($dom);


$dom = new DOMDocument;
$dom->loadHTML($html);

foreach ($dom->getElementsByTagName('p') as $td) {
    if ($td->hasAttribute('onclick')) {
        $links= $td->getAttribute('onclick');
        $links = str_replace("wo('/","",$links);
        $links = str_replace("/')","",$links);

        $url = 'https://www.mourjan.com/ae/abu-dhabi/lands/'.$links.'';
        $amer=get_web_page($url);
        $html= $amer['content'];
        $dom = new DOMDocument();
        $dom->loadHTML($html);
        $xpath = new DOMXPath($dom);       
        $name = $xpath->query('*[@id="results"]/div[2]/div[2]/p');
        $phone= $xpath->query('*[@id="results"]/div[2]/div[2]/p/span');
        echo $name->item(0)->nodeValue;
        echo '<br />';
        echo str_replace(' ','',$phone->item(0)->nodeValue); 
    }
}

我希望有人可以帮助我解决这个问题,我使用这个xpath因为它比其他更好

问候 AMER

2 个答案:

答案 0 :(得分:1)

也许查询

$name = $xpath->query('*[@id="results"]/div[2]/div[2]/p');

没有结果。然后你会在这里做

echo $name->item(0)->nodeValue;

对空节点列表的调用(length($ name)= 0)。 Ergo“item(0)”不存在。因此无法请求属性“nodeValue”。

答案 1 :(得分:0)

如果Xpath表达式返回空节点列表,则访问->item(0)将返回NULL - 因此出现错误消息。

您可以使用->length > 0在访问项目之前验证此处是列表中的节点。

另一种可能性是使用DOMXpath::evaluate()并将节点列表转换为Xpath表达式中的字符串。空列表将导致空字符串:

$dom = new DOMDocument();  
$dom->loadHTML($html);
$xpath = new DOMXPath($dom);       
$name = $xpath->evaluate('string(*[@id="results"]/div[2]/div[2]/p)');
$phone = $xpath->evaluate('string(*[@id="results"]/div[2]/div[2]/p/span)');
echo $name;
echo '<br />';
echo str_replace(' ','',$phone);