如何从维基百科获取表格

时间:2012-12-26 03:24:16

标签: c# xml web-scraping html-agility-pack

我想将Wikipedia中的一个表放入xml文件中,然后将其解析为C#。可能吗?如果是,我可以仅在xml中保存标题流派列吗?

HtmlWeb web = new HtmlWeb();
HtmlDocument doc = web.Load("http://en.wikipedia.org/wiki/2012_in_film");

HtmlNode node = doc.DocumentNode.SelectSingleNode("//table[@class='wikitable']");

3 个答案:

答案 0 :(得分:1)

您可以使用此代码: 搜索要搜索的html标记,并创建正则表达式来解析其余数据。 此代码将搜索宽度为150的表并获取所有url / nav url。

HtmlElementCollection links = webBrowser1.Document.GetElementsByTagName("table"); //get collection in link
                {
                    foreach (HtmlElement link_data in links) //parse for each collection
                    {
                        String width = link_data.GetAttribute("width");
                        {
                            if (width != null && width == "150")
                            {
                                Regex linkX = new Regex("<a[^>]*?href=\"(?<href>[\\s\\S]*?)\"[^>]*?>(?<Title>[\\s\\S]*?)</a>", RegexOptions.IgnoreCase);
                                MatchCollection category_urls = linkX.Matches(link_data.OuterHtml);
                                if (category_urls.Count > 0)
                                {
                                    foreach (Match match in category_urls)
                                    {
                                           //rest of the code
                                    }
                                }
                             }
                         }
                     }
                }

答案 1 :(得分:1)

您可以使用网络浏览器:

//First navigate to your address
 webBrowser1.Navigate("http://en.wikipedia.org/wiki/2012_in_film");
        List<string> Genre = new List<string>();
        List<string> Title = new List<string>();
  //When page loaded
  foreach (HtmlElement table in webBrowser1.Document.GetElementsByTagName("table"))
            {
                if (table.GetAttribute("className").Equals("wikitable"))
                {
                    foreach (HtmlElement tr in table.GetElementsByTagName("tr"))
                    {
                        int columncount = 1;
                        foreach (HtmlElement td in tr.GetElementsByTagName("td"))
                        {
                            //Title
                            if (columncount == 4)
                            {
                                Title.Add(td.InnerText);
                            }
                            //Genre
                            if (columncount == 7)
                            {
                                Genre.Add(td.InnerText);
                            }
                            columncount++;
                        }

                    }
                }
            }

现在你有两个列表(流派和标题)。 你可以简单地将它们转换为xml文件

答案 2 :(得分:1)

另外,请考虑查看Wikipedia API以了解维基百科页面的特定部分

API文档描述了如何格式化搜索结果以进行后续解析。