Question

from tweepy import Stream
from tweepy import OAuthHandler
from tweepy.streaming import StreamListener
import json 
from pprint import pprint

data_file = open('twitter.json')  
data = json.load(data_file)
##Json file with all the ckey, csecret, atoken, and asecret
pprint(data)

#consumer key, consumer secret, access token, access secret.
ckey = data["ckey"]
csecret = data["csecret"]
atoken = data["atoken"]
asecret = data["asecret"]

class listener(StreamListener):

def on_data(self, data):
    all_data = json.loads(data)       
    tweet = all_data["text"]        
    username = all_data["user"]["screen_name"]
    print((username,tweet))
    return True

def on_error(self, status):
    print (status)


auth = OAuthHandler(ckey, csecret)
auth.set_access_token(atoken, asecret)

上面的代码在访问twitter api时都是标准的。但是，我需要将从twitter获得的推文转移到.txt文件。我尝试使用下面的代码 twitterStream = Stream（auth，listener（））

fid = open("cats based tweets.txt","w")
for tweet in twitterStream.filter(track=[cats]):
        fid.write(tweet)
    fid.close()

我打算找到包含关键字cats的所有Twitter推特/转发，它会这样做。但是，它应该也写一个包含所有推文的txt文件，但事实并非如此。任何人都可以告诉我我需要做什么修复它。

编辑：我使用了你们编写的代码，但它没有返回所有的推文。打印出5或6然后错误

RuntimeError: No active exception to reraise

出现，我不明白为什么。为什么会发生这种情况，因为我知道不应该这样做。

Answer 1

我猜您提供的代码段中有轻微的缩进错误，但我会尝试使用2种方法修复您的错误，第一种方法是更正缩进，第二种方法是更改{{1}方法

方法1：

on_data

或者你可以简单地将上面的代码写成：

fid = open("cats based tweets.txt","w")
for tweet in twitterStream.filter(track=[cats]):
    fid.write(tweet+"\n")
fid.close()

方法2：

在第二种方法中，我们可以更改with open("cats based tweets.txt","w") as fid: for tweet in twitterStream.filter(track=[cats]): fid.write(tweet+"\n")方法，以便当程序收到新的推文时，它会打开并直接写入文件，但为此，我们需要以附加模式打开文件，如以on_data可写模式打开文件会一次又一次地覆盖文件的内容。

Answer 2

我在一个项目中完成了这项工作，我的方法涉及更改on_data对象中的StreamListener方法。我的代码如下所示：

class Listener(StreamListener):
    def __init__(self, api=None, path=None):
        #I don't remember exactly why I defined this.
        self.api = api
        #We'll need this later.
        self.path = path

    def on_data(self, data):
        all_data = json.loads(data)

        tweet = all_data["text"]        
        username = all_data["user"]["screen_name"]
        print((username,tweet))

        #Open, write and close your file.
        savefile = open(file_path, 'ab')
        savefile.write(tweet)
        savefile.close()

        return True

实际代码中的一些内容，而不是您重新定义Listener或on_data的位置。按顺序：

定义要保存的文件。我们将该变量称为file_path。不要忘记在此处添加 .txt 扩展程序。

调用Stream和Listener：

twitterStream = Stream(authorization, Listener(path=file_path))

使用过滤器。我是坐标，我尝试过滤器，除了我的代码不会停止。在这里适合您：

try:
    twitterStream.filter(track=[cats])
except Exception, e:
    print 'Failed filter() with this error:', str(e)

现在，只要文本出现在流中，就应该在文件中写入推文中的文字。看看你的文件大小，你应该看到它增加。特别是，如果您的过滤器是关于猫。互联网爱猫。

Answer 3

请参阅以下链接，然后您将了解如何将推文保存到数据库以及我们的本地文件。

https://github.com/anandstarz/Scrapee/blob/master/tweets

将Twitter推文转移到txt文件

3 个答案: