Question

[我正在使用Python，并使用ruby gem twurl来请求OAuth。]

我正在尝试从Twitter获取关注者ID，对于@BarackObama，目前有24,265,751名粉丝。从数学角度来说，24,265,751 / 5000/350可以收集13.8小时，如果我们给它一小时的余量，大约需要14-15小时。

每当我尝试使用我的代码收集它时，它会在分页时出现错误。当我收到错误后再回到收集状态时，它会查看不同的页面，以便收集的内容比我预期的要多。

我想知道我的工作是否错误，或者我的代码架构是否存在缺陷。以下是我要使用的功能;

def request_followers(namevar, name, candidate_id, id_str):
    next_cursor = -1
    cmd = 'twurl "/1/followers/ids.json?cursor=-1&screen_name=' + namevar + '"'
    data = fol_req(cmd)

    /*code to add data into database as soon as it gets the data.*/

    try:
        if (data.get('ids')):
        while (len(data.get('ids')) == 5000):
        next_cursor = data['next_cursor']
        followers_request = 'twurl "/1/followers/ids.json?cursor=' + str(next_cursor) + '&screen_name=' + namevar+'"'
        try:
            data = fol_req(followers_request)
            /*code to add data into database as soon as it gets the data.*/
            except:
            time.sleep(5)
            continue # if error, retry after 5 sec.
    except:
        print "error on", followers_request
        check_list.append(followers_request)

这是分页，

def fol_req(followers_request):
    request_limit = remainingHits()
    attempt = 0
    data = {}
    while (attempt < request_limit-1) and not(data.get('ids')):
        try:
            attempt += 1
            (status, output) = commands.getstatusoutput(followers_request)
            if status:
                sys.stderr.write(output)
                sys.exit(1)
            data = json.loads(output)
        except:
            continue
        break
    else:
        request_limit = remainingHits()
        time.sleep(1200)
        data = fol_req(followers_request)   
    return data

这是请求使用twurl和python sys。

我的架构有问题吗？

Twitter API获取大量的关注者ID，而不会出现错误

0 个答案: