XPath无法在HtmlAgilityPack C#中工作

时间:2015-10-28 22:57:34

标签: c# .net parsing xpath html-agility-pack

我正在尝试解析此网页http://www.aliexpress.com/wholesale?site=glo&SearchText=watch&page=1并获取所有手表。但是,我使用HTMLAgilityPack尝试了大约十几个不同的XPath,我只能抓取4个产品链接(应该是36左右)。

    WebClient client = new WebClient();
        client.Headers[HttpRequestHeader.UserAgent] = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36";
    var html = client.DownloadString(currentUrl);
    var document = new HtmlDocument();

    document.LoadHtml(html);

     var links = doc.DocumentNode.SelectNodes("//div[@class='item']//a").Select(a => a.Attributes["href"].Value).Distinct();

我尝试了很多不同的XPath,似乎什么都没有用,甚至有什么有趣的" // [@href]"不解析所有产品,但我再次看到其中只有4个链接。

我重新检查了它加载的HTML,我可以看到更多的产品。那么问题是什么?是一些HtmlAgilityPack问题?任何人都可以帮忙,我现在正在努力奋斗三天......

2 个答案:

答案 0 :(得分:0)

注意:我针对http://www.aliexpress.com/wholesale?site=glo&SearchText=watch&page=1

对此进行了测试

这不是与HTMLAgility包或XPath相关的问题。这里的问题是这个网站正在使用一个名为handlebar js的东西来实现某种类型的延迟加载。要记住的一件事是WebClient不是Web浏览器。也就是说,WebClient检索服务器发送的静态HTML响应,并且不执行任何javascript,而浏览器会执行。

如果您检查从服务器获取的原始HTML响应,<ul class="util-clearfix son-list util-clearfix" id="hs-below-list-items">元素中只有四个项目:

<ul class="util-clearfix son-list util-clearfix" id="hs-below-list-items">
    <!-- each li here is the ancestor of an anchor tag that you're hoping to scrape -->
    <li qrdata="200214047|32341478696|cn1513149702"  class="list-item list-item-first ">... </li>
    <li qrdata="200214047|32259964358|ali900189121"  class="list-item list-item-first ">...</li>
    <li qrdata="200214021|32388460600|cn1000737283"  class="list-item list-item-first ">..</li>
    <li qrdata="200214007|32400985609|cn1513217672"  class="list-item list-item-first ">...</li>
</ul>

之后,有一个脚本块,其余的项目位于其中:

<script type="text/x-handlebars-template" id="lazy-render" class="lazy-render">
    <li qrdata="200214007|32390805633|cn111508265"  class="list-item   ">
    ....
</script>

HtmlDocument对象中加载原始HTML时,它会将<script>元素中的内容视为NodeType.Text。这就是为什么你没有得到你想要的结果。

那就是说,这是一个解决方法:

var links = document.DocumentNode.SelectNodes("//a[@class='picRind history-item ']|//a[@class='picRind history-item j-p4plog']").Select(a => a.Attributes["href"].Value).Distinct();
foreach (var link in links)
{
    Console.WriteLine(link);
}

var lazyContent = new HtmlDocument();
lazyContent.LoadHtml(document.DocumentNode.SelectNodes("//script[@id='lazy-render']").First().ChildNodes[0].InnerHtml);
var lazyLinks = lazyContent.DocumentNode.SelectNodes("//a[@class='picRind history-item ']|//a[@class='picRind history-item j-p4plog']")
                .Select(a => a.Attributes["href"].Value)
                .Distinct();

foreach (var link in lazyLinks)
{
    // Prints the remaining 36 product links
    Console.WriteLine(link);
}

我们在解决方法中所做的是获取脚本块,并将其视为新文档,然后删除剩余的产品链接。

答案 1 :(得分:-1)

Yahoo有新格式,在使用HAP XPath时会导致错误。 例如,HAP无法解析统计选项卡中的数据。 试试这个链接:http://finance.yahoo.com/quote/IBM/key-statistics 获得Price / Book(mrq)数据。 HAP在解析..section数据时失败。