Question

我想使用rvest库中的函数通过Web抓取数据。加载网站并使用表格可以正常工作。但是，当我想访问数据时，我只能访问> 70个表条目中的35个。数据会自动分成35个条目的块。

在实际的网站上，可以使用nextPage按钮（.rgPageNext分别/// * [contains（concat（“”，@class，“”），concat（“”，“ rgPageNext”，“ “））]）。但是，我不知道如何将其包含在代码中以访问其他条目。

# library
library(rvest)    

# load html session
ua <- "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36"
mainPage  <-'https://www.tsis.fli.de/Reports/Info_SO.aspx?ts=416&guid=d04e759d-7cf0-48da-b730-4d7f397531e2'

# use form on session
session <- html_session(mainPage, httr::user_agent(ua))
pgform <- html_form(session)[[1]]
pgform$fields[['ctl00$ContentPlaceHolder1$rblActiveMode']]$value =  "1"
filledform <- set_values(pgform)
result <- submit_form(session, filledform)

# load the entries 1-35
result %>%  
  html_nodes("#ctl00_ContentPlaceHolder1_rgSO_ctl00") %>%
  html_text()

如何通过网络从第二页抓取数据？

0 个答案: