如何在R中抓取.aspx网站并更改下拉框值

时间:2019-03-29 17:13:32

标签: javascript r web-scraping rvest scrape

我想在以下链接中抓取表格:https://www.fangraphs.com/dailyprojections.aspx?pos=all&stats=bat&type=sabersim&team=0&lg=all&players=0&sort=18,d

我能够使用rvest软件包获得结果,但是只有第一页上显示的前30个结果。如何将“页面大小”下拉列表更改为增加到1000,以便获得所有结果?

这是到目前为止我尝试过的代码,但是我假设这不是HTML表,因此需要使用其他方法。

library(rvest)
url <-  "https://www.fangraphs.com/dailyprojections.aspx?pos=all&stats=bat&type=sabersim"

url1 <- url
pgsession <- html_session(url1)
pgform <- html_form(pgsession)[[1]]
filled_form <-set_values(pgform, "DFSBoard1$dg1$ctl00$ctl02$ctl00$PageSizeComboBox" = "1000")

a <- submit_form(session = pgsession, form=filled_form)
get_table <- a %>%
html_nodes("table") %>%
.[[4]] %>%
html_table(header=TRUE)

0 个答案:

没有答案