使用格式错误的内容抓取网页的麻烦

Question

我编写了c＃代码，它利用HtmlAgilityPack库来抓取位于World's Largest Urban Areas (Page 2)的页面。不幸的是，该页面包含格式错误的内容。

我陷入了如何刮擦此页面的僵局。我当前的代码（如下所示）冻结解析HTML：

 HtmlNodeCollection cityRecords = _htmlDocument.DocumentNode.SelectNodes("//table[@class='boldtable']//tr[position() != 1]");
 CityNodes = (from node in cityRecords.Descendants()
              where node.Name == "td"
              select node).ToList();

目标是使用每个数据点解析页面上列出的每个城市;而已。寻找有关如何修改上述代码或使用其他免费库的建议。

谢谢！

Answer 1

在解析之前，通过HTML Tidy运行内容。

http://tidy.sourceforge.net/