YouTube评论刮刀返回的结果有限

时间：2015-04-17 07:32:01

标签： r youtube-api web-scraping

任务：

我想从给定视频中删除所有YouTube评论。

我成功修改了上一个问题（Scraping Youtube comments in R）中的R代码。

以下是代码：

library(RCurl)
library(XML)
x <- "https://gdata.youtube.com/feeds/api/videos/4H9pTgQY_mo/comments?orderby=published"
html = getURL(x)
doc  = htmlParse(html, asText=TRUE) 
txt  = xpathSApply(doc, 
"//body//text()[not(ancestor::script)][not(ancestor::style)[not(ancestor::noscript)]",xmlValue)

要使用它，只需将视频ID（即“4H9pTgQY_mo”）替换为您需要的ID。

问题：

问题是它不会返回所有评论。实际上，无论视频中有多少条评论，它总是会返回一个包含283个元素的向量。

有谁能请说明这里出了什么问题？令人难以置信的是令人沮丧。谢谢。

4 个答案:

答案 0 :(得分：6)

我（在大多数情况下）能够通过使用最新版本的Youtube Data API和R包httr来实现这一目标。我采用的基本方法是将多个GET请求发送到相应的URL，并以100个批次（API允许的最大值）获取数据 - 即

base_url <- "https://www.googleapis.com/youtube/v3/commentThreads/"
api_opts <- list(
  part = "snippet",
  maxResults = 100,
  textFormat = "plainText",
  videoId = "4H9pTgQY_mo",  
  key = "my_google_developer_api_key",
  fields = "items,nextPageToken",
  orderBy = "published")

当然，key是您实际的Google Developer密钥。

初始批次的检索方式如下：

init_results <- httr::content(httr::GET(base_url, query = api_opts))
##
R> names(init_results)
#[1] "nextPageToken" "items"
R> init_results$nextPageToken
#[1] "Cg0Q-YjT3bmSxQIgACgBEhQIABDI3ZWQkbzEAhjVneqH75u4AhgCIGQ="       
R> class(init_results)
#[1] "list"

第二个元素 - items - 是第一批的实际结果集：它是一个长度为100的列表，因为我们在GET请求中指定了maxResults = 100。第一个元素 - nextPageToken - 用于确保每个请求返回适当的结果序列。例如，我们可以得到接下来的100个结果：

api_opts$pageToken <- gsub("\\=","",init_results$nextPageToken)
next_results <- httr::content(
    httr::GET(base_url, query = api_opts))
##
R> next_results$nextPageToken
#[1] "ChYQ-YjT3bmSxQIYyN2VkJG8xAIgACgCEhQIABDI3ZWQkbzEAhiSsMv-ivu0AhgCIMgB"

当前请求的pageToken作为之前的请求nextPageToken返回，我们获得了新的nextPageToken获得下一批结果。

这非常简单，但在我们发送每个请求后，必须手动更改nextPageToken的值显然非常繁琐。相反，我认为这对于简单的R6类来说是一个很好的用例：

yt_scraper <- setRefClass(
  "yt_scraper",
  fields = list(
    base_url = "character",
    api_opts = "list",
    nextPageToken = "character",
    data = "list",
    unique_count = "numeric",
    done = "logical",
    core_df = "data.frame"),

  methods = list(
    scrape = function() {
      opts <- api_opts
      if (nextPageToken != "") {
        opts$pageToken <- nextPageToken
      }

      res <- httr::content(
        httr::GET(base_url, query = opts))

      nextPageToken <<- gsub("\\=","",res$nextPageToken)
      data <<- c(data, res$items)
      unique_count <<- length(unique(data))
    },

    scrape_all = function() {
      while (TRUE) {
        old_count <- unique_count
        scrape()
        if (unique_count == old_count) {
          done <<- TRUE
          nextPageToken <<- ""
          data <<- unique(data)
          break
        }
      }
    },

    initialize = function() {
      base_url <<- "https://www.googleapis.com/youtube/v3/commentThreads/"
      api_opts <<- list(
        part = "snippet",
        maxResults = 100,
        textFormat = "plainText",
        videoId = "4H9pTgQY_mo",  
        key = "my_google_developer_api_key",
        fields = "items,nextPageToken",
        orderBy = "published")
      nextPageToken <<- ""
      data <<- list()
      unique_count <<- 0
      done <<- FALSE
      core_df <<- data.frame()
    },

    reset = function() {
      data <<- list()
      nextPageToken <<- ""
      unique_count <<- 0
      done <<- FALSE
      core_df <<- data.frame()
    },

    cache_core_data = function() {
      if (nrow(core_df) < unique_count) {
        sub_data <- lapply(data, function(x) {
          data.frame(
            Comment = x$snippet$topLevelComment$snippet$textDisplay,
            User = x$snippet$topLevelComment$snippet$authorDisplayName,
            ReplyCount = x$snippet$totalReplyCount,
            LikeCount = x$snippet$topLevelComment$snippet$likeCount,
            PublishTime = x$snippet$topLevelComment$snippet$publishedAt,
            CommentId = x$snippet$topLevelComment$id,
            stringsAsFactors=FALSE)
        })
        core_df <<- do.call("rbind", sub_data)
      } else {
        message("\n`core_df` is already up to date.\n")
      } 
    }
  )
)

可以这样使用：

rObj <- yt_scraper()
##
R> rObj$data
#list()
R> rObj$unique_count
#[1] 0
##
rObj$scrape_all()
##
R> rObj$unique_count
#[1] 1673
R> length(rObj$data)
#[1] 1673
R> ##
R> head(rObj$core_df)
                                                           Comment              User ReplyCount LikeCount              PublishTime
1                    That Andorra player was really Ruud..<U+feff>         Cistrolat          0         6 2015-03-22T14:07:31.213Z
2                          This just in; Karma is a bitch.<U+feff> Swagdalf The Obey          0         1 2015-03-21T20:00:26.044Z
3                                          Legend! Haha B)<U+feff>  martyn baltussen          0         1 2015-01-26T15:33:00.311Z
4 When did Van der sar ran up? He must have run real fast!<U+feff> Witsakorn Poomjan          0         0 2015-01-04T03:33:36.157Z
5                           <U+003c>b<U+003e>LOL<U+003c>/b<U+003e>           F Hanif          5        19 2014-12-30T13:46:44.028Z
6                                          Fucking Legend.<U+feff>        Heisenberg          0        12 2014-12-27T11:59:39.845Z
                            CommentId
1   z123ybioxyqojdgka231tn5zbl20tdcvn
2   z13hilaiftvus1cc1233trvrwzfjg1enm
3 z13fidjhbsvih5hok04cfrkrnla2htjpxfk
4   z12js3zpvm2hipgtf23oytbxqkyhcro12
5 z12egtfq5ojifdapz04ceffqfrregdnrrbk
6 z12fth0gemnwdtlnj22zg3vymlrogthwd04

正如我前面提到的那样，这可以让你几乎一切 - 大约1790条评论中有1673条。出于某种原因，它似乎没有捕获用户的嵌套回复，我不太确定如何在API框架中指定它。

我之前使用Google AnalyticsAPI设置了Google Developer account，但如果您还没有这样做，那么它应该非常简单。这是一个overview - 你不需要设置OAuth或类似的东西，只需创建一个项目并创建一个新的公共API访问密钥。

答案 1 :(得分：1)

XML包的替代方案是rvest包。使用您提供的URL，抓取评论将如下所示：

library(rvest)
x <- "https://gdata.youtube.com/feeds/api/videos/4H9pTgQY_mo/comments?orderby=published"
x %>% 
  html %>% 
  html_nodes("content") %>% 
  html_text

返回评论的字符向量：

[1] "That Andorra player was really Ruud.."                                                                  
[2] "This just in; Karma is a bitch."                                                                        
[3] "Legend! Haha B)"                                                                                        
[4] "When did Van der sar ran up? He must have run real fast!"                                               
[5] "What a beast Ruud was!"
...

有关rvest的更多信息，请here。

答案 2 :(得分：1)

你的问题在于获得最大的结果。

解决方案算法

首先，您需要调用网址https://gdata.youtube.com/feeds/api/videos/4H9pTgQY_mo?v=2此网址包含视频评论计数的信息，从中提取该数字，然后我们将其迭代。 

<gd:comments><gd:feedLink ..... countHint='1797'/></gd:comments>

之后使用它来使用这两个参数迭代思考网址https://gdata.youtube.com/feeds/api/videos/4H9pTgQY_mo/comments?max-results=50&start-index=1
当你在迭代时，你需要改变起始索引从1,51,101,151 ...测试max-result它有限制为50.

答案 3 :(得分：-1)

我尝试使用R中的“ tuber”包搜索其他视频，结果在这里显示。 如果一个作者只有回复（对视频没有评论），则根据回复数进行操作。如果作者回复不超过5个，则不要抓取任何人。但是如果回复不超过5个，则将评论删除。 而且，如果一位作者自己发表评论并回覆，那么第二个人（据我所知）的评论就多了。

相关问题
最新问题