import tweepy
import csv #Import csv
CONSUMER_KEY = ''
CONSUMER_SECRET = ''
ACCESS_KEY = ''
ACCESS_SECRET = ''
auth = tweepy.auth.OAuthHandler(CONSUMER_KEY, CONSUMER_SECRET)
auth.set_access_token(ACCESS_KEY, ACCESS_SECRET)
api = tweepy.API(auth, wait_on_rate_limit=False)
# Open/Create a file to append data
csvFile = open('BB.csv', 'a')
#Use csv Writer
csvWriter = csv.writer(csvFile)
#max_tweets = 100
for tweet in tweepy.Cursor(api.search,
q="bondai beach",
lang="en").items():
#Write a row to the csv file/ I use encode utf-8
csvWriter.writerow([tweet.text.encode('utf-8')])
print(tweet.text)
csvFile.close()
我正在使用Tweepy将Twitter数据导入Python。有没有办法解决从网页检索的结果数量与api检索的数量之间的差异?例如,如果您搜索bondai beach,您将在网页上获得大量结果,但如果您使用API加载它,则只会有3个结果。更奇怪的是,根据关键字,可以从API检索到大量结果。使用API检索埃菲尔铁塔的数据会产生很多结果,直到我强行停止代码才会超过1000。以上是我的代码。
答案 0 :(得分:0)
有没有办法解决从网页检索到的结果数量与api检索到的数量之间的差异?
Twitter的内部搜索API可能与他们的公共API不同,所以不幸的是,只有当你直接劫持他们的搜索API时(这很可能违反他们的服务条款)。
更奇怪的是,根据关键字,可以从API中检索到很多结果。
我不确定这有什么奇怪之处,但实现最大或某种分页实现可能是一个好主意。