用于R-Studio的Web抓取数据

时间:2018-09-10 08:45:11

标签: r web-scraping

我想将数据从此服务器站点中提取出来并放入R-Studio。我是R的新手,所以根本不确定是否有可能。为实现此目的而进行编码的任何帮助,将不胜感激。

http://hbrcdata.hbrc.govt.nz/hydrotel/cgi-bin/hydwebserver.cgi/points/details?point=679&samples=true

1 个答案:

答案 0 :(得分:0)

install.packages("rvest")
library('rvest')
install.packages('XML')
library('XML')
library("httr")


#Specifying the url for desired website to be scrapped
url <- 'http://hbrcdata.hbrc.govt.nz/hydrotel/cgi- 
        bin/hydwebserver.cgi/points/samples?point=679'





webpage <- read_html(url)

tbls <- html_nodes(webpage, "table")

head(tbls)


tbls_ls <- webpage %>%
           html_nodes("table") %>%
           html_table(fill = TRUE)

tbl <- as.data.frame(tbls_ls)

View(tbl)

我试图从给定的网站上获取其他一些表,但工作正常。

例如:

降雨深度

http://hbrcdata.hbrc.govt.nz/hydrotel/cgi-bin/hydwebserver.cgi/points/details?point=63
对url中的

进行如下小的修改将获取您的实际表。其余所有代码都相同( details?point = 63 samples?point = 63

url <- 'http://hbrcdata.hbrc.govt.nz/hydrotel/cgi-bin/HydWebServer.cgi/points/samples?point=63'

有关更多帮助,请访问以下网站: http://bradleyboehmke.github.io/2015/12/scraping-html-tables.html