想从这个网站上刮一张桌子 -
https://dr16.sdss.org/optical/spectrum/search?id=285009 [基于 https://labrtorian.com/2017/08/14/parse-an-online-table-into-an-r-dataframe-westgards-biological-variation-database/< /p>
和
https://www.r-bloggers.com/2015/01/using-rvest-to-scrape-an-html-table/]。
所有数据都是数字。
使用了以下库 -
library(httr)
library(rvest)
library(xlsx)
astro <- session("https://dr16.sdss.org/optical/spectrum/search?id=285009")
xpaths <- paste0("paste0('//*[@id="results"]/div[1]/div[2][', 1:1, ']")
spectable = data.frame(matrix(NA, 0, 10))
#loop over 1 html table
for (j in 1:1){
subtable <- astro %>%
`read_html() %>%`
`html_nodes(xpath = xpaths[j] ) %>%`
`html_table(., fill = TRUE)`
subtable <- subtable[[1]]
spectable <- rbind(spectable, subtable)
}
## Error in subtable[[1]] : subscript out of bounds
table.header <- c("Plate", "MJD" ,"FibreID", "specobj_id", "RA", "Dec", "z","zerr", "S/N", "class")
names(spectable) <- table.header
只有 1 个表，各个字段由用户填写某些字段填充。例如说 Plate = 400。有一个选项可以设置表格上的行数 - 比如说 10。
我无法弄清楚如何使用 xpaths 从网页中定义表格，元素没有清楚地显示表格。我能想到的最好的是
xpaths <- paste0("//*[@id="results"]/div[1]/div[2][", 1:1, "]")
返回错误
"unexpected symbol in ..."
第二个问题，大概与第一个问题有关，是定义行名称。脚本使用这个
row.names(spectable) <- 1:nrow(spectable)
其中 nrow = 表中的行数。
返回的错误是
Error in .rowNamesDF<-(x, value = value) : invalid 'row.names' length
希望得到任何启示。谢谢。