如何从完整的网站获取特定元素(非单页)

时间:2015-08-13 17:46:19

标签: php node.js parsing dom web-scraping

想从一个完整的网站单个元素。 搜索谷歌几个小时,没有结果。 也许我搜索错误的术语,但我似乎无法找到一种方法。

我使用了sitemap.xml,并使用下面的代码获取了其中的所有链接。

我想使用此XML链接从所有链接中获取元素。

<?php  

$urls = array();  

$DomDocument = new DOMDocument();
$DomDocument->preserveWhiteSpace = false;
$DomDocument->load('https://www.ivory.co.il/sitemap.xml');
$DomNodeList = $DomDocument->getElementsByTagName('loc');

foreach($DomNodeList as $url) {
    $urls[] = $url->nodeValue;
}

//display it
echo "<pre>";
print_r($urls);
echo "</pre>";

?>

需要帮助......

1 个答案:

答案 0 :(得分:0)

使用simplexml_load_file(因为它是公开的):

<?php
$url = "https://www.ivory.co.il/sitemap.xml";

$xml = simplexml_load_file($url) or die ("Error: Cannot create object");
$locs = array();

for($i=0; $i<count($xml->url); $i++){
    $locs[$i] = (string) $xml->url[$i]->loc;
}

echo "<pre>";
print_r($locs);

<强>输出:

Array
(
    [0] => https://www.ivory.co.il/
    [1] => https://www.ivory.co.il/%D7%97%D7%[...]
    [2] => https://www.ivory.co.il/%D7%98%D7%[...]
    [3] => https://www.ivory.co.il/%D7%9B%D7%[...]
    [4] => https://www.ivory.co.il/%D7%9E%D7%[...]
    [5] => https://www.ivory.co.il/%D7%9E%D7%[...]
    [6] => https://www.ivory.co.il/%D7%9E%D7%[...]
    [7] => https://www.ivory.co.il/%D7%9E%D7%[...]
    [8] => https://www.ivory.co.il/%D7%9E%D7%[...]
    [9] => https://www.ivory.co.il/%D7%9E%D7%[...]
    [10] => https://www.ivory.co.il/%D7%9E%D7%[...]
    [...]
)

然后,您可以使用curl函数访问每个URI,迭代链接数组并处理每次访问获取数据(文档为here,以及一些提示here)。

示例:

$curl = curl_init();
curl_setopt_array ($curl, array(
          CURLOPT_URL => $locs[1],
          CURLOPT_RETURNTRANSFER => true)
);
$result = curl_exec($curl);
curl_close ($curl);
echo $result;