如何在不达到API限制的情况下获取所有Twitter粉丝

时间:2013-09-03 19:41:57

标签: php twitter oauth twitter-oauth

我想这很容易做到,但我无法弄清楚我做错了什么。我正在使用亚伯拉罕的OAuth获取访问权限。我正在使用我的关注者信息构建一个数据库:屏幕名称,用户名和推特ID。没什么特别的。

我引用了Twitter的“cursoring”页面,特别是伪代码,以制作我的代码。对于那些不想点击链接查看所述pesudo代码的人,它看起来如下:

cursor = -1

api_path = "https://api.twitter.com/1.1/endpoint.json?screen_name=targetUser"

do {

    url_with_cursor = api_path + "&cursor=" + cursor      

    response_dictionary = perform_http_get_request_for_url( url_with_cursor )

    cursor = response_dictionary[ 'next_cursor' ]

}

while ( cursor != 0 )

对于每个请求,最终用户都会获得一个“光标”,允许他们浏览结果的“页面”。每页有20个,如果你有200个粉丝,你必须经历10页。我有900多名粉丝。我将其修改为如下所示:

 include('config.php');  //db connection
 include('twitter_oauth.php'); //oauth connection

 $followers = "";

$cursor = -1;
echo '<pre>';   
do {

    $consumerKey = 'xxx';
    $consumerSecret = 'xxx';
    $OAuthToken = 'xxx';
    $OAuthSecret = 'xxx';

    $tweet = new TwitterOAuth($consumerKey, $consumerSecret, $OAuthToken, $OAuthSecret);

    $followers = $tweet->get('followers/list', array('screen_name' => 'my_screen_name', 'cursor' => $cursor));

    print_r($followers);

    if (isset($followers->error)) {
        echo $followers->next_cursor_str;
        break;
    } 

    foreach($followers->users as $users) {

        $followersQ = mysql_query("SELECT * FROM followers WHERE tw_id = '".$users->id."'") or die(mysql_error());
        $num_rows = mysql_num_rows($followersQ);

        if ($num_rows == 0) {
            $followersQ2 = "INSERT INTO followers 
                                        (screen_name, name, tw_id)
                                        VALUES
                                        ('".$users->screen_name."', '".$users->name."', '".$users->id."')";
            $followersR = mysql_query($followersQ2) or die(mysql_error());
            echo 'done one set<br>';
        }

    }


    $cursor = $followers->next_cursor_str;

}

while ( $cursor != 0 );
echo '</pre>';

?>

以上代码调用twitter关注者/列表并获得前20个用户。然后它获得一个光标并转到下一个,然后重复。只有,大约有80个用户看来它给了我可爱的:

[errors] => Array
    (
        [0] => stdClass Object
            (
                [message] => Rate limit exceeded
                [code] => 88
            )

    )

我可以手动获取下一个光标,等待15分钟以使速率限制下降,使用光标再次调用该功能,获取接下来的80个项目,然后获取该键并重复,但我想设置一个可以反复调用它的脚本。

我觉得我做错了,无论是我的功能,我称之为oAuth,还是在某个地方之外。有人能指出我正确的方向吗?

谢谢。

2 个答案:

答案 0 :(得分:18)

这种方式更快,但也有一个限制因素:

1-发出请求以获取所有关注者ID ...在页面中使用5000 id进行分页    https://dev.twitter.com/docs/api/1.1/get/followers/ids

在ids上进行2-循环,并在逗号分隔的字符串中发送每个100 id以获取其信息    https://dev.twitter.com/docs/api/1.1/get/users/lookup

3-现在你可以每15分钟获得1500个用户对象而不是300个用户对象

但是,如果关注者列表超过1500

,您还需要每15个请求设置一个计时器

答案 1 :(得分:2)

我认为没有办法绕过所施加的限制。即使tweetbot也有这个限制,因为这是twitter强加的限制。您可以在数据库中创建当前状态的注释,并将cron作业设置为每15分钟运行一次,这将再次运行一组请求。这需要时间,但它可以在完成后通过电子邮件通知您。这就像socialbro这样的服务。您当然会将这些结果缓存在您的数据库中。