在包含特定图标的html表中查找单元格

时间:2015-05-31 09:59:30

标签: r rvest

我正在寻找可以告诉我特定图标所在的html表格的哪个单元格的代码。 以下是我的工作内容:

u <- "http://www.transfermarkt.nl/lionel-messi/leistungsdaten/spieler/28003/saison/2014/plus/1"
doc <- rvest::html(u)
tab <- rvest::html_table(doc, fill = TRUE)[[6]]

专栏&#34; Pos。&#34;指定玩家在该领域的位置。其中一些还有一个额外的图标。我可以在页面上看到这些图标的存在,如下所示:

rvest::html_nodes(doc, ".kapitaenicon-table")

但这并没有告诉我他们在哪里。我希望我的代码返回图标出现在&#34; Pos的第2,10,11,27行。柱&#34;在表中。我怎么能这样做?

1 个答案:

答案 0 :(得分:4)

多一点rvest和XPath魔法可以获得索引:

library(rvest)
library(magrittr)
library(XML)

pg <- html("http://www.transfermarkt.nl/lionel-messi/leistungsdaten/spieler/28003/saison/2014/plus/1")

pg %>% 
  html_nodes("table") %>% 
  extract2(6) %>% 
  html_nodes("tbody > tr") %>% 
  sapply(function(x) {
    length(xpathSApply(x, "./td[8]/span[@class='kapitaenicon-table icons_sprite']")) == 1
  }) %>% which

## [1]  2 10 11 27

获取第6个表格,提取tr,然后通过它们查看第8个td,其中包含正确的span / class。如果XPath搜索失败,它将返回一个空列表,因此您可以使用该长度来确定哪些行具有td,其中包含图标,哪些行没有。

此:

pg %>% 
  html_nodes(xpath="//table[6]/tbody/tr/td[8]") %>% 
  xmlSApply(xpathApply, "boolean(./span[@class='kapitaenicon-table icons_sprite'])") %>% 
  which

也有效,而且更紧凑(也更快)。它使用XPath boolean操作来测试是否存在。如果您没有在节点上执行其他操作,这将更加方便。

这是一个xml2版本,但我必须相信必须有更好的方法在xml2中执行此操作:

library(xml2)
library(magrittr)

pg2 <- read_html("http://www.transfermarkt.nl/lionel-messi/leistungsdaten/spieler/28003/saison/2014/plus/1")
pg2 %>% 
  xml_find_all("//table[6]/tbody/tr/td[8]") %>% 
  as_list %>% 
  sapply(function(x) {
    inherits(try(xml_find_one(x, "./span"), silent=TRUE), "xml_node")
  }) %>% which

<强>更新

对于0.1.0.9000的版本xml2,我必须执行以下操作:

pg2 %>% xml_find_all("//table") %>% 
  as_list %>% 
  extract2(6) %>% 
  xml_find_all("./tbody/tr/td[8]") %>% 
  as_list %>% 
  sapply(function(x) {
    inherits(try(xml_find_one(x, "./span"), silent=TRUE), "xml_node")
  }) %>% which

情况应该不是这样,我filed a bug report

Session info -------------------------------------------------------------------------
 setting  value                       
 version  R version 3.2.0 (2015-04-16)
 system   x86_64, darwin13.4.0        
 ui       RStudio (0.99.441)          
 language (EN)                        
 collate  en_US.UTF-8                 
 tz       America/New_York            

Packages -----------------------------------------------------------------------------
 package    * version date       source        
 curl       * 0.5     2015-02-01 CRAN (R 3.2.0)
 devtools   * 1.7.0   2015-01-17 CRAN (R 3.2.0)
 magrittr     1.5     2014-11-22 CRAN (R 3.2.0)
 Rcpp       * 0.11.5  2015-03-06 CRAN (R 3.2.0)
 rstudioapi * 0.3.1   2015-04-07 CRAN (R 3.2.0)
 xml2         0.1.0   2015-04-20 CRAN (R 3.2.0)