Question

以下是我正在使用的代码。对于每个用户请求，下载所有推文花费的时间太长。加快执行时间的方法有哪些。想法是使用当用户访问网站时，实时推文分析。我是python的新手，所以任何帮助都会受到赞赏。

import tweepy #https://github.com/tweepy/tweepy


#Twitter API credentials
consumer_key = ".."
consumer_secret = ".."
access_key = ".."
access_secret = ".."


def get_all_tweets(screen_name):
    #Twitter only allows access to a users most recent 3240 tweets with this method

    #authorize twitter, initialize tweepy
    auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
    auth.set_access_token(access_key, access_secret)
    api = tweepy.API(auth)

    #initialize a list to hold all the tweepy Tweets
    alltweets = []  

    #make initial request for most recent tweets (200 is the maximum allowed count)
    new_tweets = api.user_timeline(screen_name = screen_name,count=200)

    #save most recent tweets
    alltweets.extend(new_tweets)

    #save the id of the oldest tweet less one
    oldest = alltweets[-1].id - 1

    #keep grabbing tweets until there are no tweets left to grab
    while len(new_tweets) > 0:
        print ("getting tweets before %s".format(oldest))

        #all subsiquent requests use the max_id param to prevent duplicates
        new_tweets = api.user_timeline(screen_name = screen_name,count=200,max_id=oldest)

        #save most recent tweets
        alltweets.extend(new_tweets)

        #update the id of the oldest tweet less one
        oldest = alltweets[-1].id - 1

        print ("...%s tweets downloaded so far".format(len(alltweets)))

    #transform the tweepy tweets into a 2D array that will populate the csv 
    outtweets = [[tweet.id_str, tweet.created_at, tweet.text.encode("utf-8")] for tweet in alltweets]
    return outtweets

Answer 1

使解决方案更快的一种方法是进行一些缓存。

当您下载了屏幕名称的所有推文时，请将它们保存在本地，例如[twitter_screen_name] .json

然后编辑您的函数以检查您的缓存文件。如果它不存在，请将其创建为空。然后加载它，只刷新需要的东西，然后保存你的json缓存文件。

这样，当用户访问时，您只会使用twitter下载 diff 。对于经常咨询的屏幕名称，这将快得多。

然后你可以添加一些用于自动清除缓存的东西 - 一个简单的CRON，它可以删除最近访问过的META的文件，比如n天。

有没有办法加速python代码使用tweepy下载推文？

1 个答案: