我正在使用Tweepy Twitter API和Python使用以下代码来检索相当多的推文(约40,000条):
def getTweets(query, num):
#gets the specified number of tweets
_max_queries = 100
tweets = tweet_batch = api.search(q=query, count=num, tweet_mode='extended')
ct = 1
while len(tweets) < num and ct < _max_queries:
print("Got %d tweets!" % (len(tweets)))
tweet_batch = api.search(q=query, count=num-len(tweets), max_id=tweet_batch.max_id, tweet_mode='extended')
tweets.extend(tweet_batch)
ct += 1
return tweets
我将api wait_on_rate_limit设置为true。在我调用getTweets()函数之后,我立即尝试处理这些tweets。唯一的问题是,Python不在等待Tweepy的速率限制重置,而是在过早地执行过程代码。例如,如果我尝试拉20,000条Tweeepy,Tweepy会拉大约9,000条并立即处理它们,而不是等待速率限制重置,然后拉其余的Tweet。有什么建议吗?