抓取网站并获取表格数据

时间:2013-11-09 18:11:38

标签: php regex xpath web-crawler

我已经搜索并查看了很多关于stackoverflow的示例,但仍然无法使其工作。

我想爬一个网站来获取我的体育俱乐部的位置表。

我的问题是我无法从表格中获取“tr”内容。在开始我使用REGEX,但后来我读到人们不会推荐它,所以现在我使用XPath,但不能让它工作。

我要抓取的网页是:http://resultater.dai-sport.dk/tms/Turneringer-og-resultater/Pulje-Stilling.aspx?PuljeId=104

我现在的代码是:

$doc = new DOMDocument();
$doc->loadHTMLFile("http://resultater.dai-sport.dk/tms/Turneringer-og-resultater/Pulje-Stilling.aspx?PuljeId=104"); // or you could load from a string using loadHTML();
$xpath = new DOMXpath($doc);
$elements = $xpath->query("/table/thead/tbody/tr");

print_r($elements);

我得到的结果是:DOMNodeList Object([length] => 0)

我完全错了吗?

1 个答案:

答案 0 :(得分:1)

正如@PeeHaa注意到的那样,tbody标记不在thead标记内(在普通代码中)。但是,源代码中没有tbody标记,您可以使用:

$elements = $xpath->query("//table/tr");

要从网站中提取数据,您可以使用:

$elements = $xpath->query("//table/tr[contains(@class,'sr')]");

$keys = array('nb', 'hold', 'k', 'v', 'u', 't', 'scoreA', 'scoreB', 'p');

foreach ($elements as $elt) {
    $results[] = array_combine($keys,
     preg_split('~^\s++|\s++$|\h*+\R\s*+-?\s*+~', $elt->textContent, null, 1)
    );
}
echo '<pre>' . print_r($results, true);

另一种方法是使用preg_match()并描述textContent的结构。第二个链接的示例:

$pattern = <<<'LOD'
~
(?<kampnr>     [0-9]++                    ) \s++
(?<dato>       [0-9]{2}-[0-9]{2}-[0-9]{2} ) \s++
(?>
    kl\. \s++
    (?<kl> [0-9]{2}:[0-9]{2} ) \s++
)?
(?<hjemmehold> .+?                        ) \h*+ \R \s++
(?<udehold>    .+?                        ) \h*+ \R \s++
(?<spillA>     .+?                        ) \h*+ \R \s++
(?<spillB>     .+?                        ) \h*+ \R \s++
(?>
    (?<resultatA> [0-9]++    ) \s*+ - \s*+
    (?<resultatB> [0-9]++    ) 
)? 
~xu
LOD;

foreach ($elements as $elt) {
    if (preg_match($pattern, $elt->textContent, $match)) {
        foreach($match as $k=>$v) {
            if (is_numeric($k)) unset($match[$k]);
        }
        $result[] = $match;
    }                
}
echo '<pre>' . print_r($result, true);