Question

我有一段简单的R代码从网站读取html数据然后我试图遍历页面并从每个页面获取数据。我已经多次使用这段代码而且它有效。它将每个页面的结果添加到R变量中，但由于某些原因，在此站点上它不起作用。有什么想法吗？

library(XML)
library(RCurl)


data <- NULL

getData <- function(url) {
#For some reason cant read directly from site, need to use RCurl to get the data first
xData <- getURL(url)
table <- data.frame(readHTMLTable(xData)$'NULL')
data <- table
}

getData(url="https://steemdb.com/accounts/reputation?page=1")

Answer 1

我想我知道出了什么问题

在您的功能中将data <- table更改为data <<- table

您正在将结果分配给该函数的本地环境，而<<-将其分配给全局环境。

我建议你尝试以下

library(rvest)
getData <- function(url) { html_table(read_html(url)) }

data <- getData("https://steemdb.com/accounts/reputation?page=1")

甚至更好

library(rvest)
getData <- function(url) { html_table(read_html(url)) }
steemdb.url <-"https://steemdb.com/accounts/reputation?page=" 

data <- lapply(1:100, function(i) getData(paste0(steemdb.url, i)) )
data <- do.call(rbind, data)
View(data)

1:100 will get you the first 100 pages.

R函数不会修改全局变量

1 个答案: