Question

我想将论坛评论收集到data.frame。我想将所有评论从一个URL收集到一行。评论数将不相等（最大评论数= 3），因此我想在没有评论的任何单元格中获得“ NA”。

   library(rvest)
    library(xml2)
    library(qdapRegex)
    url_page <- c("http://medyczka.pl/forum-gastrologiczne/")
    web <- read_html(url_page)
    post_url <- web %>% html_nodes(css='.title') %>%
      html_attr('href') %>%
      as.character()
    post_url <-data.frame(post_url)

#Prepare df for all possible commentaries
posts_all <-data.frame()
#Let' make a simple function
for(i in 1:5){
  web2<-read_html(as.character(post_url[i,1]))
  posts <- web2 %>% html_nodes(css='.restore') %>%
    html_text() %>%
    as.character()
  posts <- rm_between(posts,'\r','\t', replacement="")
  posts_df <-data.frame(posts)
  posts_all <-rbind(posts_all,posts_df)
}
str(posts_all)

但是我只有1列92行，而不是5列，最多30条评论（列）。

#> str(posts_all)
#'data.frame':  92 obs. of  1 variable:
 #$ posts: Factor w/ 89 levels "Do tego potrzeba wiedzy a tu nie ma lekarzy. Radzę zapytać na innym forum medycznym.",..: 14 4 11 3 1 6 12 2 7 10 ...

我做错了什么？如何正确收集数据？

Answer 1

建议您将tidyverse与rvest一起使用。这对您来说应该是一个很好的入门；

library(tidyverse)
library(rvest)

pg <- read_html('http://medyczka.pl/forum-gastrologiczne/')

tbl <- tibble(
        title = pg %>% html_nodes('.title') %>% html_text(),
        title_link = pg %>% html_nodes('.title') %>% html_attr('href')
        )

get_comment <- function(url) {

pg <- read_html(url)
tbl <- tibble( posts = pg %>% html_nodes('.restore') %>% html_text() %>% str_trim(),
               link = url
                ) %>% mutate(post_seq = seq_along(posts))
}

posts_all <- NULL

posts_all <-  map(tbl$title_link, get_comment) %>% bind_rows()

tbl_posts_all <- tbl %>% left_join(posts_all, by = c('title_link' = 'link'))

Rvest将论坛主题中的所有评论绑定到一个data.frame中

1 个答案: