Question

我正试图找出用户给出的所有推文的回复数量。这不是直接来自Twitter API的东西。我决定只关注用户粉丝的回复，以帮助提取生成的数据并作为一个很好的近似值（我相信对推文的回复将直接来自该用户粉丝。

我相信我已经走了很长一段路，我还需要最后一节的帮助。我正在努力使我创建的功能在所有追随者身上运行。

我宁愿这个解决方案在R上用Python，虽然我知道这个存在并且是一个选项。我还为唐纳德特朗普提供了推特标签;我不是想为他做这件事，并且知道他的巨大追随者将使这成为一个挑战。我想要一个可用于输入任何用户的通用版本。

library(rtweet)
library(plyr)
library(dplyr)

##set name of tweeter to look at (this can be changed)
targettwittername <- "realDonaldTrump"

##get this tweeter's timeline
tmls <- get_timeline(targettwittername, n=3200, retryonratelimit=TRUE)
##get their user id
targettwitteruserid <- as.numeric(select(lookup_users(targettwittername), user_id))
##get ids of their tweets
tweetids <- select(tmls, status_id)
tweetids <- transform(tweetids, status_id_num=as.numeric(status_id))

##get list of followers (who are most likely to reply)
targetfollowers <- data.frame(get_followers(targettwittername))

##clean up follower list to exclude those that have never tweeted and restricted access
user_lookup <- lookup_users(targetfollowers)
users_with_tweets_and_unprotected <- filter(user_lookup, statuses_count != 0)
users_with_tweets_and_unprotected <- select(filter(users_with_tweets_and_unprotected, protected != "TRUE"), user_id)

targetfollowers <- filter(targetfollowers, user_id %in% users_with_tweets_and_unprotected$user_id)



##custom function to search all followers timelines one by one
getfollowersreplies <- function(x){
  follower <- as.numeric(x[1])
  followertl <- data.frame(get_timeline(follower, n=3200, retryonratelimit=TRUE))
  followertl <- filter(followertl, in_reply_to_status_user_id == targettwitteruserid)
  followertl <- transform(followertl, reply_to_status_id_num=as.numeric(in_reply_to_status_status_id))
  join <- inner_join(followertl, tweetids, by=c("reply_to_status_id_num"="status_id_num"))
  replycounts <- data.frame(
                  join %>%
                    group_by(user_id, reply_to_status_id_num) %>%
                    summarise(n=n())
                  )
  return(replycounts)
}


tweet_replies <- do.call("rbind", lapply(targetfollowers$user_id, getfollowersreplies))

Answer 1

最大的障碍是收集由@realDonaldTrump超过4200万粉丝发布的最新推文中的3,200条所需的时间。

> djt <- lookup_users(targettwittername)
> djt[, c("screen_name", "followers_count", "friends_count", "statuses_count")]
# A tibble: 1 x 4
      screen_name followers_count friends_count statuses_count
            <chr>           <int>         <int>          <int>
1 realDonaldTrump        42793758            45          36398

Twitter将每15分钟收集的关注者用户ID数量限制为75,000。

flw <- get_followers("realDonaldTrump", n = 75000)
> flw
# A tibble: 75,000 x 1
              user_id
                <chr>
 1          928808378
 2 926186565231136768
 3 931237514253426688
 4 930584682701475842
 5 902580952165216256
 6 931236663950372864
 7 931237367024820224
 8 922140807024578560
 9 931235142047211520
10 931235653412708352
# ... with 74,990 more rows

假设您有可靠的互联网连接和时间，那么您可以使用以下代码获取所有4200万个关注者ID。

flw <- get_followers(
  "realDonaldTrump", n = 42793758, retryonratelimit = TRUE
)

然后你可能想构建一个使用get_timeline()并处理API速率限制的for循环。在下面的示例代码中，我已经使循环休眠，直到每56次调用后速率限制重置为止。

flw_tml <- vector("list", length(flw$user_id))
for (i in seq_along(flw$user_id)) {
  flw_tml[[i]] <- get_timeline(
    flw$user_id[i], n = 3200
  )
  if (i %% 56 == 0L) {
    rl <- rate_limit("get_timeline")
    Sys.sleep(as.numeric(rl$reset, "secs"))
  }
  cat(i, " ")
}

正如您所看到的，这需要很长时间。你最好在过去6-9天内收集所有的回复。在过去的9天里，以下代码对特朗普的推文收集了500万条回复。警告：如果过去9天内确实有很多回复（我真的不知道），那么这次搜索将花费不到三天的时间完成。

at_rdt <- search_tweets(
  "to:realdonaldtrump", 
  n = 5e6,
   retryonratelimit = TRUE
)

R从其关注者列表中查找用户推文的所有回复

1 个答案: