Twitter网页上的搜索结果数量以及结果的差异

时间:2017-03-18 12:06:00

标签: python twitter web-crawler tweepy

import tweepy
import csv #Import csv

CONSUMER_KEY = ''
CONSUMER_SECRET = ''
ACCESS_KEY = ''
ACCESS_SECRET = ''

auth = tweepy.auth.OAuthHandler(CONSUMER_KEY, CONSUMER_SECRET)
auth.set_access_token(ACCESS_KEY, ACCESS_SECRET)

api = tweepy.API(auth, wait_on_rate_limit=False)
# Open/Create a file to append data
csvFile = open('BB.csv', 'a')
#Use csv Writer
csvWriter = csv.writer(csvFile)
#max_tweets = 100

for tweet in tweepy.Cursor(api.search, 
                q="bondai beach", 
                lang="en").items():
#Write a row to the csv file/ I use encode utf-8
csvWriter.writerow([tweet.text.encode('utf-8')])
print(tweet.text)
csvFile.close()

我正在使用Tweepy将Twitter数据导入Python。有没有办法解决从网页检索的结果数量与api检索的数量之间的差异?例如,如果您搜索bondai beach,您将在网页上获得大量结果,但如果您使用API​​加载它,则只会有3个结果。更奇怪的是,根据关键字,可以从API检索到大量结果。使用API​​检索埃菲尔铁塔的数据会产生很多结果,直到我强行停止代码才会超过1000。以上是我的代码。

1 个答案:

答案 0 :(得分:0)

  

有没有办法解决从网页检索到的结果数量与api检索到的数量之间的差异?

Twitter的内部搜索API可能与他们的公共API不同,所以不幸的是,只有当你直接劫持他们的搜索API时(这很可能违反他们的服务条款)。

  

更奇怪的是,根据关键字,可以从API中检索到很多结果。

我不确定这有什么奇怪之处,但实现最大或某种分页实现可能是一个好主意。