Question

我正在尝试从网页抓取数据并rbind。

1。从网页上刮取数据

for (i in 1:10) {

url <- paste0("https://www.nest.co.uk/pendants?page=",i)

Pandents <- read_html(url)

PanInfos <- html_nodes(Pandents, css = '.fn.name')

PanInfos[1] %>% html_nodes('.brand') %>% html_text()

2。提取＆＃34;品牌＆＃34;

BRANDS <- PanInfos %>% html_nodes('.brand') %>% html_text()

3。删除unicode并提取＆＃34; SHORTNAMES＆＃34;

panShortnames <- PanInfos %>% html_nodes('.short-name') %>% html_text()

SHORT1 <-  gsub(pattern = '\U00A0', replacement = " ", panShortnames)

SHORTNAMES <-  gsub(pattern = '\U2013', replacement = "-", SHORT1)

4。提取＆＃34;价格＆＃34;

PriceInfos <- html_nodes(Pandents, css = '.info')

PRICE <- PriceInfos %>% html_nodes('.price') %>% html_text()

5。使用＆＃34; IF＆＃34;

制作数据框

if ( i == 1) {
  data1<- data.frame(BRANDS, SHORTNAMES, PRICE)
}

else if (i ==2) {
  data2<- data.frame(BRANDS, SHORTNAMES, PRICE)
}
###......

else (i ==10) {
  data10<- data.frame(BRANDS, SHORTNAMES, PRICE)
}  
}

6。制作最终数据框

FINAL <- rbind(data1, data2, data3, data4, data5, data6, data7, data8, data9,data10)

这是我的第一次练习，现在我终于知道R真的太复杂了。我想做的是从网页中提取数据并制作一个csv文件。但它根本不起作用。我真的需要你的建议。我的错误是什么？是否有更简单的方法

Answer 1

我认为这是你想要的目标？

加载用于webscraping的库

library(xml2)
library(rvest)

首先，创建一个虚拟变量列表来存储dat

pass <- paste0("dat", 1:10)

获取每一页并将信息存储到dat1-dat10

中

for(i in 1:10){

  url <- paste0("https://www.nest.co.uk/pendants?page=", i)

  assign(pass[i], read_html(url))

}

为了将来方便循环，请列出dat1-dat10

datalist <- list(dat1, dat2, dat3, dat4, dat5, dat6, dat7, dat8, dat9, dat10)

设置虚拟数据帧

brand <- paste0("brand", 1:24)

dfbrand <- as.data.frame(brand)

循环访问dat1-dat10，提取名称信息并附加到dfbrand

＆＃34;长度（品牌）＆lt; - nrow（dfbrand）＆＃34;确保行数相同以确保cbind正常工作

for (i in datalist){

  PanInfos <- html_nodes(i, css = '.fn.name')

  BRANDS <- 
    PanInfos %>% 
    html_nodes('.brand') %>% 
    html_text()

  length(BRANDS) <- nrow(dfbrand)

  BRANDS <- as.data.frame(BRANDS)

  dfbrand <- cbind(dfbrand, BRANDS)

}

同样的名称和价格，我没有看到提取名称和使用gsubs的任何差异所以我排除了这些步骤

name <- paste0("name", 1:24)

dfname <- as.data.frame(name)

for (i in datalist){

  PanInfos <- html_nodes(i, css = '.fn.name')

  NAMES <- 
    PanInfos %>% 
    html_nodes('.short-name') %>% 
    html_text()

  length(NAMES) <- nrow(dfname)

  NAMES <- as.data.frame(NAMES)

  dfname <- cbind(dfname, NAMES)

}

price <- paste0("price", 1:24)

dfprice <- as.data.frame(price)

for (i in datalist){

  PanInfos <- html_nodes(i, css = '.info')

  PRICE <- 
    PanInfos %>% 
    html_nodes('.price') %>% 
    html_text()

  length(PRICE) <- nrow(dfprice)

  PRICE <- as.data.frame(PRICE)

  dfprice <- cbind(dfprice, PRICE)

}

最后，获取每一行数据并将其附加到新数据框

使用[i + 1]中的+1，因为我们的原始虚拟数据帧在column1中包含占位符信息

pass2 <- paste0("scrapeddat", 1:10)

for (i in 1:10) {

  assign(pass2[i], data.frame(dfbrand[i+1], dfname[i+1], dfprice[i+1]))

}

如果这有帮助，或者您还有其他问题，请告诉我们。

rbind by for循环，从网页抓取