我正在尝试使用ruby gem Twitter(https://github.com/sferik/twitter)从twitter api中获取用户的关注者。
根据文档(https://dev.twitter.com/docs/api/1/get/followers/ids),twitter在一个请求中返回5000个用户。根据速率限制设置,twitter允许我每15分钟拨打15个电话(https://dev.twitter.com/docs/rate-limiting/1.1/limits)
问题:
当我检索超过75000个关注者(5000 * 15)的用户的关注者时,我收到了“超出限制率”错误。
当我使用gem方法Twitter.followers_id(用户)时,我会自动获得所有关注者,而不是使用游标的5000个桶。我猜宝石在内部处理这个问题,因此我无法控制或延迟这些请求。
在gem文档中有一个速率限制的例子(https://github.com/sferik/twitter#rate-limiting),但是我不知道是否会处理已经检索到的用户,或者是否从新的用户开始。
我的问题是我如何以及何时应用限制机制来吸引所有关注者?
此致
答案 0 :(得分:6)
此问题的解决方法已得到很好的解释here。
MAX_ATTEMPTS = 3
num_attempts = 0
begin
num_attempts += 1
retweets = Twitter.retweeted_by_user("sferik")
rescue Twitter::Error::TooManyRequests => error
if num_attempts <= MAX_ATTEMPTS
# NOTE: Your process could go to sleep for up to 15 minutes but if you
# retry any sooner, it will almost certainly fail with the same exception.
sleep error.rate_limit.reset_in
retry
else
raise
end
end
答案 1 :(得分:0)
将sleep命令添加到Twitter gem中的cursor_from_response_with_user方法,该方法位于lib / twitter / api / utils.rb
https://github.com/sferik/twitter/blob/master/lib/twitter/api/utils.rb
def cursor_from_response_with_user(collection_name, klass, request_method, path, args, method_name)
puts "sleeping 60"
sleep 60
arguments = Twitter::API::Arguments.new(args)
merge_user!(arguments.options, arguments.pop || screen_name) unless arguments.options[:user_id] || arguments.options[:screen_name]
cursor_from_response(collection_name, klass, request_method, path, arguments.options, method_name)
end
每个光标响应至少需要60秒,因此每15分钟不会超过15个请求。这是一个黑客攻击,但它会工作,直到这个问题按75K + follower_ids排序。