Question

我是Webscrapping的新手。我正在使用的网址是这个（https://tsmc.tripura.gov.in/doc_list）。目前，我能够从首页提取数据。由于url不变，因此我没有其他页面的标识符来创建用于数据表提取的循环。这是我的代码：

install.packages("XML")
install.packages("RCurl")
install.packages("rlist")
install.packages("bitops")
library(bitops)
library(XML)
library(RCurl)
url1<- getURL("https://tsmc.tripura.gov.in/doc_list",.opts = 
list(ssl.verifypeer = FALSE))
table1<- readHTMLTable(url1)
table1<- list.clean(table1, fun = is.null, recursive = FALSE)
n.rows <- unlist(lapply(table1, function(t) dim(t)[1]))
table1[[which.max(n.rows)]]
View(table1)
table11= table1[["NULL"]]

请帮助。谢谢！

Answer 1

也许尝试以下解决方案：

url <- "https://tsmc.tripura.gov.in/doc_list?page="
sq <- seq(1, 30) # There appears to be 30 pages so we create a sequence of 1:30 results

links <- paste0(url, sq) #Paste the sequence after the url "page="

store <- NULL
tbl <- NULL

library(rvest) #extract the tables
for(i in links){
  store[[i]] = read_html(i)
  tbl[[i]] = html_table(store[[i]])
}

library(plyr)
df <- ldply(tbl, data.frame) #combine the list of data frames into one large data frame
df$`.id` <- gsub("https://tsmc.tripura.gov.in/doc_list?page=", " ", df$`.id`, fixed = TRUE)

其中有846个观测值涉及8个变量。

编辑：我发现第一个url没有序列。为了添加第一页并将其与其他数据一起rbind，请使用以下内容：

firsturl <- "https://tsmc.tripura.gov.in/doc_list"

first_store = read_html(firsturl)
first_tbl = html_table(first_store)
first_df <- as.data.frame(first_tbl)
first_df$`.id` <- 0


df2 <- rbind(first_df, df)

尝试通过数据分布在整个页面上来抓取不变的URL

1 个答案: