Question

我正在使用DOMDocument和DOMXpath进行刮擦，并且只能部分获取数据，而且我不确定我做错了什么。

HTML看起来像：

<script src="/MercuryGate/util/validate.js" type="text/javascript"></script>


<html>
<head>
<title>Title</title>

<script language="javascript" type="text/javascript" src="../util/popup_window.js">    </script>

</head>
<body background="white" style="margin: 0 0 0 0; padding: 0 0 0 0;">
<form onSubmit="return false;"> 
<table cellpadding="0" cellspacing="1" class="bids">
    <tr>
        <td class="headerTD">
            Respond By
        </td>
        <td class="headerTD">
           Load
        </td>
        <td class="headerTD">
            Origin
        </td>
        <td class="headerTD">
            State
        </td>
        <td class="headerTD">
            Pickup Range
        </td>
    </tr>
    <tr>
        <td class="oddTD">Data1</td>
        <td class="oddTD"><a href="xxx">2568103S</a></td>
        <td class="oddTD">Data3</td>
        <td class="oddTD">WA</td>
        <td class="oddTD">Data4</td>
    </tr>

    <input type="hidden" id="xxxxx" name="xxxx" value="false" />

    <tr>
        <td class="evenTD">Data1</td>
        <td class="evenTD"><a href="xxx">2568103S</a></td>
        <td class="evenTD">Data3</td>
        <td class="evenTD">WA</td>
        <td class="evenTD">Data4</td>
    </tr>
    <input type="hidden" id="xxxx" name="xxxx" value="false" />

</table>
<br>


<input type="button" value=" Refresh " onclick="refresh()" style="font-size: 8pt; font-family: Arial;">

</form>

scrape之后我的脚本看起来像

$dom = new DOMDocument('1.1');
$dom->preserveWhiteSpace = FALSE;
$dom->loadHTML(strtolower($html));
$xpath = new DOMXPath($dom);
$trNodes = $xpath->query("//table/tr");
$counter = -1;
foreach ($trNodes as $tr) {
    $counter++;
    $tdNodes = $xpath->query(".//td[contains(concat(' ',normalize-space(@class),' '),' oddTD ')]", $tr);
    print_r($tdNodes);
}

在print_r($tdNodes);上我在所有tr迭代中得到0长度。我不知道为什么。任何人都可以在我的xpath查询中发现错误吗？

Answer 1

如果你只需要每个tr上的td标签，这就可以了：

foreach ($trNodes as $tr) {
    $tdNodes = $xpath->query('.//td[contains(@class, "headerTD")]', $tr);
    print_r($tdNodes);
}

如果您想要每个td的内容，也可以在XPath查询中插入//text()。

Answer 2

我发现了我的问题...因为我正在做$dom->loadHTML(strtolower($html));它不匹配

$tdNodes = $xpath->query(".//td[contains(concat(' ',normalize-space(@class),' '),' oddTD ')]", $tr);

但是

$tdNodes = $xpath->query(".//td[contains(concat(' ',normalize-space(@class),' '),' oddtd ')]", $tr);

使用DOMXpath抓取节点元素

2 个答案: